[Paper Review] At a Glance: Pixel Approximate Entropy as a Measure of Line Chart Complexity

📍 At a Glance: Pixel Approximate Entropy as a Measure of Line Chart Complexity (IEEE TVCG '19)

Paper : https://ieeexplore.ieee.org/document/8440849

---

✏️ Summary

• 본 논문은 시간이 제한된 환경에서 시각화를 “at a glance”, 즉 아주 짧은 순간에 봐야 할 때, 예를 들어 응급 대응, 수술실 모니터링, 빠르게 변하는 금융 데이터 모니터링처럼 사용자가 시각화를 아주 짧은 시간 동안만 볼 수 있는 상황에 주목한다.
• 저자들은 이런 상황에서 중요한 것은 차트의 세부 수치가 아니라 차트 전체의 윤곽, 형태, 추세를 얼마나 빨리 파악할 수 있느냐라고 본다.
• 그런데 기존 시각화 연구는 주로 개별 시각 요소나 낮은 수준의 지각 정확도에 집중해 왔고, 전체 차트가 한눈에 얼마나 복잡하게 보이는가를 정량적으로 측정하는 지표는 부족했다.
  → 이를 해결하기 위해 저자들은 시계열 복잡도 분석에 쓰이던 Approximate Entropy를
  라인 차트의 픽셀 표현에 적용한 Pixel Approximate Entropy (PAE)를 제안한다.
  
  
• 큰 결론은 다음과 같다 :
  1) PAE는 사용자가 지각하는 차트 복잡성과 상관이 있다.
  2) 차트의 PAE가 커질수록 사용자의 판단 정확도는 감소한다.
  3) 사용자가 차트를 볼 시간이 더 짧아질수록 PAE와 사용자 판단 사이의 상관은 더 강해진다.

---

💡 Introduction

• 시각화 연구가 전통적으로 두 방향으로 전개되었다.

  • 하나는 시각화 형태를 어떻게 생성할 것인가이고,

  • 다른 하나는 그 형태를 사용자가 어떻게 지각하는가이다.

  • 하지만 후자의 연구는 주로 개별 데이터 포인트나 시각 요소를 얼마나 정확히 읽는가와 같은 저수준 문제에 집중되어 있었다.

    • 반대로 실제 사용 상황에서, 사람들이 처음 시각화를 볼 때 전체적인 모양과 경향을 먼저 파악한다는 점이 충분히 다뤄지지 않았다고 본다.

• 저자들은 심리학 연구를 근거로, 자연의 장면을 아주 짧게 볼 때 사람들은 개별 객체보다 전반적인
  공간적 / 기능적 구조를 먼저 지각한다고 설명한다.
  • 그리고 이런 메커니즘이 데이터 시각화에서도 유사하게 작동할 수 있다고 주장한다.
  • 특히 긴급 상황, 빠르게 변하는 정보를 모니터링 하는 상황 등 시간이 중요한 맥락에서는 사용자가 시각화를 길게 들여다볼 수 없으며, 이에 따라 짧은 첫인상이 큰 핵심이 된다.

📌 그에 따라 저자들은 좋은 복잡도 척도가 갖춰야 할 다섯 가지 성질을 우선적으로 제시한다.

1) 지각된 복잡성과 상관이 있어야 한다.
2) 노이즈 수준이 높아지면 값도 증가해야 한다.
3) 지각 정확도를 예측할 수 있어야 한다.
4) 임의의 1차원 라인 차트에 적용 가능하며 단일한, 이해 가능한 값이어야 한다.
5) 특정 차트 유형에만 맞는 것이 아니라 여러 라인 차트에 넓게 적용 가능해야 한다.

• 본 논문에서 저자들은 “at a glance”를 대략 200ms 이하로 정의한다.
  • 그리고 이 시간 안에 사용자가 차트 복잡성을 어떻게 지각하는지를 연구하기 위해 approximate entropy를 복잡도 지표 후보로 사용한다.
  • 연구 질문은 크게 다음과 같다 :
    1) approximate entropy가 시계열 시각화 복잡성 지표로 적절한가?
    2) 사용자는 PAE가 높은 차트를 더 복잡하다고 보는가?
    3) PAE가 증가하면 차트 비교 및 판단 정확도는 감소하는가?
    4) 사용 가능 시간이 줄어들수록 PAE와 정확도의 관계는 더 강해지는가?
    → 이 질문에 답하기 위해 저자들은 먼저 분석적 실험 1개, 이후 Mechanical Turk 기반 지각 실험 4개를 수행한다.

---

💡 Related Work

• At-a-Glance Perception
  • 심리학에서는 사람들이 자연의 특정 장면을 아주 짧게 접해도 그 범주나 성격을 상당히 잘 파악할 수 있다는 연구가 줄곧 진행되어왔다.
  • Greene과 Oliva의 연구에서는 사람들이 장면을 개별 물체의 집합으로 보기보다는 장면 전체의 생태적, 공간적 특성으로 해석한다고 보고된다.
  • Biederman 등의 연구도 객체 인식이 개별 객체의 특징보다 장면과의 관계에 의존함을 보여준다.

    📌 본 논문은 이런 연구 결과를 시각화 분야로 확장하고자 하며, 라인 차트도 결국 짧게 보면 개별 점보다는 전체 추세와 형태를 먼저 보게 된다고 주장한다.

• Perception of Salient Features

  • Rosenholtz의 visual clutter 연구는 자연 이미지에서 시각적 복잡성을 측정하려 했고, 그중 Subband Entropy는 엔트로피를 사용해 시각적 clutter를 측정하는 방식이다.

  • 시각화 분야에서는 Wilkinson의 Scagnostics가 대표적이다.

    • Scagnostics는 산점도의 분포 형태를 여러 척도로 정량화하며, 이후 해당 개념은 평행좌표,픽셀 기반 디스플레이, 차원 축소 등으로 확장되어왔다.
    • 하지만 이러한 방법들은 주로 산점도나 픽셀 기반 시각화의 구조적인 특징에 집중하며, 1차원 라인 차트의 복잡성을 직접 측정하지는 않는다.

      📌 그에 따라 본 논문은 이러한 정량화 흐름을 유지하면서도 그 초점을 달리한다고 주장한다.

• Time Series Visualization and Simplification
  • Heer의 연구는 차트의 크기와 layering이 비교 정확도와 속도에 미치는 영향을 분석했고, ASAP은 smoothing을 통해 시계열 노이즈를 줄이면서 중요한 추세를 보존하려 했다.
  • L1 Local Orientation Resolution과 같은, line chart의 aspect ratio를 결정하는 기술들 또한 개발되어 왔다.

    📌 본 논문은 PAE가 이런 기법들과 경쟁하기보다는, 이들의 파라미터 선택이나 smoothing 여부를 판단하는 보조적인 기준이 될 수 있다고 본다.

• Perception of Visual Marks and Visual Forms
  • 기존 infovis 연구들은 짧은 노출 시간에서의 색, 방향과 같은 pre-attentive visual marks에 초점을 맞춘 경우가 많다.
  • 반면 저자들은 더 상위 수준인 visual form, 즉 전체 형태의 지각에 관심을 돌린다.
  • 예컨대 Szafir 등의 연구는 산점도에서 centroid, density와 같은 요약 통계량을 빠르게 지각할 수 있는지를 실험했다.
  • 나아가 일부 시각적 과업, 예를 들어 산점도의 상관 추정은 200ms 이하에서도 어느 정도 가능하다는 연구 결과가 존재한다.

    📌 본 논문은 이러한 인지 과정에 대한 연구들을 바탕으로, 라인 차트의 전체 윤곽 역시 짧은 순간에 인식될 수 있다고 본다.

• Entropy in Visualization
  • 엔트로피는 과학적 시각화에서 자원 배분, 렌더링 속성 선택, 압축 등 다양한 목적으로 쓰여 왔으며, 정보 시각화에서도 정보량, 불확실성, 중요도 등을 측정하는 데 활용되어 왔다.
  • 하지만 이러한 연구들은 보통 데이터 자체의 정보량이나 품질을 다루며, 사용자 지각의 복잡성을 직접 측정하지는 않는다.

    📌 본 논문은 산점도 상관 지각을 엔트로피로 설명하려 했던 Rensink 등의 최근 연구에 따라,
    엔트로피를 라인 차트 복잡성 지각과 연결하여 설명하려는 시도를 보인다.

---

💡 A Line-Chart Complexity Measure

• 왜 일반 엔트로피가 아니라 approximate entropy를 사용하는가 ?

  • 기존 Shannon entropy와 같은 고전적 엔트로피는 순서 없는 값들의 집합에 대해 계산된다. 그러나 라인 차트는 값의 순서가 중요하게 작용한다.
    

  • 이와 같이 단순 직선과 그 값을 뒤섞은 버전은 값의 분포만 보면 Shannon entropy가 동일하지만, 시각적으로는 셔플된 쪽이 당연히 더욱 복잡하게 비춰진다.
    즉, 라인 차트 복잡도를 측정하려면 순서와 패턴 반복성이 반영되어야 한다.
    

  • 저자들은 신호처리, 정보이론, 통계 모델링 문헌을 검토해 8개의 후보 척도를 살핀다.

    • 후보는 SNR (Signal to Noise Ratio), Auto-correlation, Fourier Analysis, Approximate Entropy, Sample Entropy 및 관련 통계, Multiscale Entropy, Flattened Signal Length,
      HMM 예측 기반 Sequential Modeling이다.
    • 이 중 대부분은 저자들이 도입부에서 제시한 5가지 기준을 만족하지 못한다.
      
      
    • Fourier analysis와 auto-correlation은 노이즈 증가에 따른 안정성을 잘 보이지 못한다.
    • HMM 기반 방법은 하이퍼파라미터 튜닝이 많이 요구된다.
    • SNR (Signal to Noise Ratio)은 이상적인 신호 모델이 있어야 하는데 이는 현실에서 구현되기 어렵다.
    • Flattened Signal Length는 반복 패턴을 반영하지 않아 무작위 데이터보다 사인 곡선에 더 큰 복잡도를 줄 수 있다는 우려가 존재한다.
    • Multiscale entropy는 여러 스케일 값이 나와 단일 스칼라 척도라는 요구에 어긋난다.
    • Sample entropy는 approximate entropy와 값은 비슷하지만, 낮은 엔트로피 차트에서는 값이 정의되지 않는 경우가 있다.
      → 이에 따라 최종적으로 Approximate Entropy가 선택되었다.

• Approximate entropy 는 Pincus가 제안한 시스템 복잡도 측정치로, 특히 저차원 시스템에서
  샘플 수가 많지 않아도 복잡도를 구분하는 데 유용하다고 소개된다.

  • 라인 차트는 본질적으로 1차원 구조이며 픽셀 수도 대개 수백 개 수준이므로 해당 조건과 잘 맞는다.

• 개념적으로 approximate entropy는 슬라이딩 윈도우 방식으로 계산된다.

  • 길이 N의 곡선에서 길이 m짜리 구간(window)들을 모두 뽑아 서로 비교한다.
  • 비슷한 윈도우 쌍이 많으면 곡선에 반복성과 규칙성이 많다는 뜻이므로 엔트로피는 낮아지고,, 비슷한 패턴이 거의 없으면 예측 불가능성이 높아져 엔트로피가 커진다.
    
  • 예를 들어, 위의 뉴욕시의 택시 수요에 대한 차트의 경우, 일별, 주별로 일정한 패턴을 보이기 때문에
    반복성이 없는 타 차트들에 비해 엔트로피가 낮게 도출될 것이다.
    
    
    

  본 논문은 위의 식들과 같이
  1) 각 샘플 $y_i$ (입력 곡선의 i번째 샘플)와 윈도우 $w_i^m$ (i번째 위치에서 시작하는 길이 m의 윈도우)
  2) 두 윈도우 간 거리 $d(w_i^m, w_j^m)$
  3) 유사도 $S_i^m(r)$와 전체 로그 확률 $Φ^m(r)$
  4) 그리고 최종 approximate entropy인 $E(m,r,N)$를 단계적으로 제시한다.

  

  • 거리 $d(w_i^m, w_j^m)$의 경우 두 윈도우를 같은 위치끼리 맞춰 비교했을 때, 가장 크게 차이 나는 지점 간 거리 차이로 정의된다.
  • 유사도 $S_i^m(r)$는 어떤 한 윈도우가 다른 윈도우들과 얼마나 자주 비슷하게 등장하는지를 의미하며, 거리 임계값 r보다 가까운 윈도우의 비율로 정의된다.
  • 최종 approximate entropy인 $E(m,r,N)$는 모든 윈도우의 유사도를 모아서 계산한다.
    즉, 각 윈도우가 얼마나 자주 비슷한 패턴을 찾는지를 로그 스케일에서 평균낸 값이라고 볼 수 있다.
    본 논문은 이것을 윈도우들이 r 이내로 가까울 로그 확률처럼 이해할 수 있다고 설명한다.
    
    
  • 본 논문은 표본 수를 무한대로 가정하는 기존 정의 대신, 실제 시각화에서는 고정된 N을 사용한 추정식 $E(m,r,N)$을 쓴다.
  • 저자들은 이게 차트 픽셀 폭을 N으로 둘 수 있기 때문에 시각화에 자연스럽게 맞는다고 본다.

• approximate entropy를 실제 라인 차트에 적용해 Pixel Approximate Entropy를 정의한다.

  1) 데이터를 시각화 좌표계로 매핑해 x, y를 픽셀 단위로 바꾼다.
  2) 차트 폭 N에 대해 각 x 픽셀마다 y 픽셀 좌표를 모아 벡터 $Y=[y_i]$를 만든다.
  3) 이 벡터에 대해 $E(m,r,∣Y∣)$를 계산한다.

• PAE의 장점은 데이터 자체의 수학적 복잡도가 아니라 시각화 결과물의 픽셀 표현을 기준으로 한다는 점이다.

  • 즉, 같은 데이터라도 차트 크기나 스케일에 따라 사용자가 다르게 볼 수 있는데, PAE는 바로 그 시각적 표현을 직접 측정한다.
  • 또한 고정된 해상도에서는 일관된 범위의 엔트로피 값을 제공한다.
  • 저자들은 현재 정의가 전체 차트에 대한 단일 전역 복잡도 값이라는 점을 명시하며, 지역적 / 전역적 복잡성을 동시에 잡거나 다른 시각 인코딩까지 포함하는 확장은 향후 과제로 남긴다.

• 저자들은 첫번째 그림 (Summary 참조)에서 네 가지 기본 곡선, 즉 3차 다항식, 코사인, 가우시안, 선형 함수를 보여주고 각 곡선에 왼쪽에서 오른쪽으로 점차 노이즈를 추가한다.

  

  • 그림상 PAE 값이 함께 제시되며, 노이즈가 커질수록 곡선의 전반 형태는 남아 있지만 더 무작위적이고 복잡하게 보인다.
  • 저자들은 이 네 종류를 실제 현실 상황에서 자주 등장하는 패턴으로 본다.
  • 선형은 가장 단순한 추세, 가우시안은 매우 익숙한 분포형, 3차 다항식은 과학적 모델에 등장하는 더 복잡한 형태, 코사인은 심박수나 온도처럼 주기적 패턴을 대표한다.

• 스케일 변화가 PAE에 미치는 영향을 보여준다.
  • 차트의 높이를 늘리면 같은 변동이 더 크게 보이므로 PAE가 커지고, 폭을 늘리면 곡선이 수평 방향으로 늘어나며 상대적으로 부드러워 보이므로 PAE가 줄어든다.
  • 이는 PAE가 데이터 자체가 아니라 시각적 표현의 복잡도를 측정한다는 점을 잘 보여준다.

• 위는 실제 데이터를 예시로 든 그림이다.
  • S&P 500 가격 데이터와 NYC 택시 수요 데이터는 상대적으로 규칙성과 추세가 있어 낮은 PAE를 가진다.
  • 반면 S&P 500 거래량 데이터와 EEG seizure 데이터는 훨씬 불규칙하고 시각적 노이즈가 많아 높은 PAE를 가진다.
  • 저자들은 실무적으로 PAE를 차트 상에서 예측 불가능한 데이터가 차지하는 공간의 양 정도로 해석할 수 있다고 설명한다.

---

💡 Experiments

📌 저자들은 PAE가 좋은 복잡도 척도인지를 검증하기 위해 5개의 가설을 세운다.
H1 : PAE와 추가 노이즈량의 상관,
H2 : PAE와 지각된 복잡성의 상관,
H3 : PAE가 차트 변화 식별 정확도에 미치는 영향,
H4 : PAE가 기본 형태 식별 정확도에 미치는 영향,
H5 : glance time과 PAE의 상호작용을 다룬다.

• 실험 세팅은 다음과 같이 진행한다 :

  • 합성 데이터에서는 목표 PAE를 맞추기 위해 곡선 위 임의의 x 좌표에 삼각형 모양의 노이즈를 추가하는 방식을 쓴다. 노이즈 크기 Δy는 데이터 표준편차 σ를 바탕으로 U(−σ,σ)에서 샘플링하고, 주변 구간은 선형 보간으로 연결한다.
    → 이렇게 반복해서 원하는 PAE 값에 도달할 때까지 노이즈를 더한다.

  • Approximate entropy는 m과 r에 의해 파라미터화되는데, 저자들은 m=2, r=20을 사용한다.
    이 값은 네 개의 기본 곡선과 다양한 해상도 (100×150, 200×300, 400×600)에 대해 노이즈량과 PAE의 상관이 가장 잘 나오도록 탐색해 고른 값이다.

  • 사용자 실험은 Amazon Mechanical Turk에서 진행했다.
    흥미로운 점은, 저자들은 실제 루틴한 빠른 시각 작업을 어느 정도 모사하기 위해 너무 성실한 고품질 worker만 모으는 대신 승인율 95%보다 낮은 사람들도 일부 포함했다고 보고한다.
    
    

• Experiment 1: PAE and Synthetic Noise
  

  • 첫 번째 실험은 가장 기초적인 검증이다.
  • 이후 실험에서 복잡성을 조절하기 위해 합성적으로 노이즈를 추가하므로, 먼저 추가된 노이즈량과 PAE가실제로 잘 대응하는지를 확인해야 했다.
    여기서는 선형, 가우시안, 코사인, 3차 다항식 네 개의 기본 함수에 대해 점차 노이즈를 더하고 PAE를 측정한다.분석은 노이즈량을 독립변수, PAE를 종속변수로 한 선형회귀와 t-test, $R^2$ 평가로 이루어졌다.
    
    
  • 네 가지 기본 함수 모두에서 노이즈가 커질수록 PAE가 매우 안정적으로 증가함이 나타났다.
  • 따라서 저자들은 H1을 채택하고, 이후 실험들에서 PAE를 조절하기 위한 합성 노이즈 생성 방식이 타당하다고 본다.
  • 이 실험은 사용자 연구는 아니지만, 논문 전체의 기반을 마련하는 중요한 validation 역할을 한다.
    
    

• Experiment 2: PAE and Perceived Visual Complexity

  • 사용자가 느끼는 복잡성과 PAE가 실제로 연결되는지 보는 실험이며, 본 논문은 해당 실험을 두 버전으로 나눠 진행한다.

  • 하나는 합성 노이즈로 조절된 차트, 다른 하나는 실제 의료 및 주식 데이터에서 자연스럽게 다양한 PAE를 가진 차트를 사용하는 버전이다.

  • 참가자는 한 세트에 8개의 유사한 차트를 보고, 그중 가장 복잡한 것 또는 가장 단순한 것을 고르는 과제를 수행한다.

    

  • 합성 데이터 버전은 선형, 코사인, 가우시안, 3차 다항식, 그리고 S&P 500의 대표 윈도우를 기본 함수로 사용했다.

    • 각 세트는 동일한 기본 함수에서 PAE가 0.1부터 0.8까지 0.1 간격으로 다른 8개의 차트로 구성된다.
    • 실제 데이터 버전은 S&P 500 가격 및 거래량, MIT-BIH Arrhythmia, Bern-Barcelona EEG 데이터에서 다양한 PAE를 갖는 구간을 뽑아 사용했다.
      
      

  • 정답 여부를 종속변수로 두고, PAE와 baseline function을 설명변수로 한 binomial logistic regression을 수행했다.

  • 정답은 least complex 과제에서는 가장 낮은 PAE 차트를 선택했는가, most complex에서는 가장 높은 PAE 차트를 선택했는가로 정의된다.

  • 결과적으로 합성 데이터에서 PAE는 정답성과 유의한 관련이 있었다.
    실제 데이터에서도 PAE는 유의했지만, baseline function은 유의하지 않았다.

    

  • 본 실험 결과는 PAE가 실제로 사람이 느끼는 라인 차트 복잡성의 proxy가 될 수 있음을 보여준다.

  • 다만 합성 데이터에서는 기본 함수의 종류가 결과에 어느 정도 영향을 미쳤다.
    또 저자들은 참가자들이 일반적으로 복잡한 차트보다 단순한 차트를 더 정확히 구분한다는 점을 발견한다.

  • 예를 들어 위의 그림에서 가우시안 차트의 PAE를 같은 양 Δ=0.125만큼 증가시켜도, 원래 PAE가
    낮은 차트(0.015→0.135)는 쉽게 구분되지만, 원래 PAE가 높은 차트(0.315→0.435)는 구분이 더 어렵다.

  • 저자들은 이것이 PAE에도 일종의 JND(Just Noticeable Difference) 현상이 있음을 시사한다고 본다.
    
    

• Experiment 3: Find-the-Difference Task

  • PAE가 단순한 느낌을 넘어서 실제 시각 판단 정확도에 어떤 영향을 주는지 본다.
    

    • 참가자는 먼저 하나의 초기 차트를 짧게 본 후, 해당 차트는 잠시 마스킹되고, 이어서 원래 차트와 원래 차트에 더 많거나 적은 PAE가 추가된 차트 두 개가 동시에 제시된다.
      참가자는 둘 중 처음 본 차트와 같은 것을 골라야 한다.
      
    • 전반적인 과정은 아래와 같다 :
      - 초기 차트가 200ms 동안 제시된다. 이는 대략 한 번의 saccade 길이이며, Rensink 등이 말한 기본 correlation perception 단계 150ms보다 약간 길다.
      → 이후 200ms pause 동안 마스크가 나온다. 이 마스킹은 저수준 시각 패턴 매칭을 끊고, 응답을 좀 더 인지적 비교에 기반하게 만들기 위한 것이다.
      → 이어서 두 선택지가 나온다.
      
      

  • 초기 차트 PAE는 낮음 0.045, 중간 0.09, 높음 0.18 세 수준이며, 비교 차트는 Δy = ±0.015, ±0.03, ±0.06, ±0.09, ±0.12 만큼 차이 나게 만든다.
    차트 유형은 선형, 코사인, 가우시안, 3차 다항식 네 종류다.
    따라서 전체는 3×5×2×4=120 조건의 요인 설계가 된다.
    
    

  • 저자들은 네 가지 하위 가설을 둔다.
    H3.1: 초기 차트의 PAE가 정확도에 영향을 준다.
    H3.2: 초기 차트와 비교 차트의 PAE 차이 크기가 정확도에 영향을 준다.
    H3.3: 비교 차트가 원래보다 더 복잡한지 덜 복잡한지, 즉 차이의 부호가 정확도에 영향을 준다.
    H3.4: 정확도는 기본 차트 유형에는 영향을 받지 않는다.

  • 총 52명이 참가했고, 평균 7분 5초가 걸렸으며 비교 하나당 평균 3.5초 정도 썼다.
    분석은 정답 여부를 종속변수로 한 binomial logistic regression으로 수행했다.

  • 실험 결과, 실제로 네 변수 모두 정확도와 관련이 있었다.
    따라서 H3.1, H3.2, H3.3은 지지된다.

    

  • 초기 PAE가 높을수록 정확도는 체계적으로 낮아진다.
    특히 Δy (가로축)가 작을 때 이런 차이가 더 크게 보인다. 또한 ∣Δy∣가 커질수록 정확도는 올라간다.
    결국 두 차트의 복잡도 차이가 작아지면 정확도는 0.5, 즉 랜덤 추측 수준으로 수렴한다.

    

  • 흥미로운 건 Δy의 부호 효과다. 참가자들은 대체로 더 낮은 PAE 차트를 원본으로 고르는 편향을 보였다.

  • 따라서 비교 차트가 더 복잡해진 경우 (Δy>0)에는 그 편향이 정답에 유리하지만, 비교 차트가 덜 복잡해진 경우 (Δy<0)에는 오답을 유발한다.

  • 저자들은 왜 이런 bias가 생기는지 확신하지는 못하지만, 낮은 PAE 차트가 초기 차트의 shape envelope에 더 가까워 보이기 때문일 수 있다고 추정한다.
    
    

• Experiment 4: Shape Identification Task

  • 다음은 복잡한 차트 속에서 기본 형태를 식별하는 과제다.
    
    • 실제 시각화 사용 상황에서는 사용자가 단순히 같은 차트인지가 아니라, 노이즈 많은 데이터에서 전반적인 패턴이나 추세를 읽어야 하는 경우가 많기 때문이다.
    • 참가자는 먼저 네 가지 기본 형태 예시를 학습한다 : 증가 추세, 감소 추세, peak (최고점), trough (최저점)
      이후 이들 기본 함수에 노이즈를 추가해 특정 PAE 수준에 맞춘 차트를 잠깐 보여주고, 참가자는 네 형태 중 어떤 것이 가장 대표적인지 고른다.
    • 또 자신의 확신 정도를 0(guess)부터 4(certain)까지 보고한다.
    • 본 과제는 이전보다 더 어렵기 때문에 초기 차트 제시 시간은 500ms로 늘렸다.
    • 전체 설계는 4가지 기본 함수 × 4개 PAE 수준 (0.2, 0.4, 0.8, 1.2) × 각 조건 5개 버전으로 총 80조건이다.
      
      
  • 47명이 참가했고, 평균 8분 정도 걸렸으며 각 과제는 약 3.6초 안에 답했다.
  • 분석은 PAE를 독립변수, 정답 여부를 종속변수로 한 binomial logistic regression을 사용했다.
  • 결과는 매우 유의했으며, H4를 지지했다.
    
  • 위의 그림을 보면 PAE가 낮을 때는 사용자가 거의 100%에 가깝게 기본 형태를 맞추지만, PAE가 0.8이면 정확도가 약 70% 수준으로 떨어지고, PAE가 1.2면 약 50%까지 떨어진다.
  • 동시에 확신도도 PAE가 증가할수록 꾸준히 감소한다.
    
    
  • 해당 결과는 PAE가 높아질수록 사용자가 유의미한 구조적 차이를 읽어내기 어려워진다는 것을 보여준다.
  • 다만 저자들은 이 실험에서도 아직 완전히 랜덤 수준에 도달했다고 보지는 않는다.
    네 보기 중 랜덤 수준은 25%인데, 가장 낮은 정확도도 그보다는 높았기 때문이다.
  • 따라서 더 높은 PAE나, 혹은 단순 고주파 노이즈가 아니라 다른 저주파 패턴을 섞는 방식의 노이즈가 들어가면 정확도는 더 낮아질 수 있다고 추정한다.

• Experiment 5: Glance and Pause Time
  • 다음 실험은 한눈에 보는 시간, 즉 glance time이 PAE와 어떤 상호작용을 가지는지를 살핀다.
  • 본 논문은 특히 시간이 짧아질수록 차트 복잡성이 더 큰 문제가 될 것이라고 본다.
  • 과제는 Experiment 3과 같은 원본 식별 과제이지만, 이번에는 초기 차트 노출 시간을 바꾼다.
  • baseline function은 선형으로 고정하고, 초기 PAE는 0.045, 0.09, 0.18의 세 수준, Δy는 0.015, 0.06, 0.24를 사용한다.
  • glance time은 50ms, 100ms, 200ms, 2s이다.
    즉, 거의 fixation도 어려운 아주 짧은 시간부터 충분히 차트를 살펴볼 수 있는 시간까지 포함한다.
    따라서 전체 실험은 3×3×2×4=72 조건 하에 이루어진다.
    
    
  • 총 48명이 참가했고, 평균 8분 21초가 걸렸다.
    분석 결과 glance time은 정확도와 유의하게 관련되었다.
    
  • 위의 그림을 보면 초기 PAE가 높을수록 glance time의 영향이 더 뚜렷하다.
    또한, ∣Δy∣가 커지면 판단이 쉬워지는 경향은 여전히 유지된다.
  • 아주 짧은 glance time에서는 작은 PAE 차이나 높은 초기 PAE 조건에서 거의 구분이 불가능하다.
  • 시간이 길어지면 정확도는 개선되지만, 초기 엔트로피가 높으면 긴 시간에서도 여전히 어렵게 느껴짐을
    알 수 있다.
    
    
  • 해당 결과는 H5를 지지한다. 특히 중요한 포인트는 복잡도가 언제나 중요한 것이 아니라, 시간이 짧을수록 더 치명적이라는 점이다.
  • 즉, PAE는 단순한 데이터 특성이 아니라 실제 작업 맥락, 특히 짧은 노출 시간의 시각 과제에서 더 큰 설명력을 갖는다.

---

💡 Discussion

해당 장에서는 주로 본 논문의 실험 결과를 실제 시각화 설계에 어떻게 연결할 수 있는지를 설명한다.

• 먼저, 변화 강조다.

  • PAE가 높으면 사용자가 차이와 변화를 놓치기 쉬우므로, 중요한 변화는 더 강하게 시각적으로 강조해야 한다.
  • 또한 실험 3에서 본 것처럼 사용자는 복잡도가 증가하는 변화와 감소하는 변화에 대해 비대칭적인 편향을 보였기 때문에, 특히 복잡도가 증가하는 변화는 더 명시적으로 강조할 필요가 있을 수 있다.
  • 또 PAE가 높으면 기본 함수나 추세 자체를 읽기 어려우므로, 중요한 구조는 별도의 annotation이나 cue를 통해 드러내는 것이 필요할 수 있다.
  • 마지막으로 glance time 결과는 차트를 짧게 보여주는 디스플레이 설계에도 직접 연결된다.
    복잡한 차트일수록 더 긴 노출 시간이 필요하므로, 노출 시간 설계를 복잡도에 따라 달리해야 한다는 것이다.

• approximate visualization이나 interactive visualization에서는 모든 데이터를 다 보여주지 않고 sampling, aggregation, approximation 등의 방법을 활용한다.

  • 이때 PAE를 사용하면 사용자의 인지 수준을 파악하고, 더 정밀한 계산을 해도 사용자가 차이를 인지하지 못하는 기준점을 추정할 수 있다.
    즉, 계산 자원을 어디까지 쓸지를 판단하는 하나의 인지적 기준이 될 수 있다.

• 시각화 파라미터 선택 시에도, 차트의 높이, 폭, layering, aspect ratio 등은 모두 시각적 복잡도에 영향을 주는데, PAE는 이런 파라미터를 선택할 때 사용자 관점의 기준값이 될 수 있다.

  • 예를 들어 horizon graph의 높이와 layer 수를 정하거나, line chart aspect ratio를 정할 때 PAE를 함께 고려할 수 있다.

• 차트가 너무 복잡하면 smoothing이 도움 될 수 있는데, 얼마나 smoothing해야 적당한지는 판단이 쉽지 않다.

  • 이에 대해 본 논문은 ASAP 같은 기법과 PAE를 결합하면, 차트가 충분히 단순해졌는지를 자동으로 판단할 수 있다고 본다.
  • 즉, PAE는 smoothing을 적용할지 여부뿐 아니라, 어느 정도까지 할지를 조절하는 기준점이나 규칙의 역할도 할 수 있다.

---

💡 Conclusions and Future Work

• 본 논문은 라인 차트에서의 시각적 복잡성 지각을 연구하고, 새로운 지표인 "Pixel Approximate Entropy"를 도입한다.
• 분석 실험과 사용자 실험을 통해 PAE가 노이즈 수준과 밀접하게 상관되어 있으며, PAE가 높을수록 사용자가 차트를 더 복잡하게 지각한다는 점과,
  복잡한 차트일수록 시각 비교 과제 정확도가 떨어지고, 특히 짧은 시간에 볼수록 그 영향이 더 커진다는 점 등을 밝혔다.
  
  
• 향후 연구 방향으로는 PAE의 JND가 Weber’s law를 따르는지를 더 정밀하게 검증하고,
• 라인 차트를 넘어 다른 시각화 마크와 인코딩으로 결과를 확장하며,
• Discussion에서 제안한 변화 강조, 대규모 데이터 시각화, 파라미터 선택, smoothing 가이드 같은 실질적인 지원 방식을 시스템 차원에서 구현해보는 등의 방법을 떠올려볼 수 있다.