[Paper Review] Winglets: Visualizing Association with Uncertainty in Multi-class Scatterplots

📍 Winglets: Visualizing Association with Uncertainty in Multi-class Scatterplots

https://ieeexplore.ieee.org/document/8848845

---

💡 INTRODUCTION

multi-class scatterplot visualization (다중 클래스 산점도)

• 문제 제기 : 다차원 데이터를 산점도로 시각화할 때, 데이터가 어떤 군집에 속하는지, 그리고 그 군집과의 연관성이 얼마나 확실한지를 명확히 표현하는 것이 어렵다.
  
  • 주로 특정 군집화 알고리즘의 결과만을 제시
    → 해당 알고리즘이 각 데이터 포인트를 어떤 군집에 속하도록 결정했는지에 대한 신뢰도는 시각적으로 표현되지 않는다.
  • 고차원 데이터 차원 축소 이후 시각화
    : 휴리스틱이나 파라미터 조정에 크게 의존 (군집의 개수 등)하게 된다.

"Winglets"
각 점에 양쪽 날개 (stroke)를 붙이는 방식으로 다른 멤버들과의 연관성 (orientation)과 군집화 결정에 수반되는 불확실성 (length)를 시각적으로 표현한다.
→ 게슈탈트의 폐쇄성 원리를 활용해 시각적 군집 구조를 암시적으로 형성한다.

---

💡 WINGED DATA POINTS AS VISUAL CUES

Gestalt principles of perceptual grouping

• 근접성 (proximity) : 위치적으로 가까운 점들을 같은 군집으로 인식
• 유사성 (similarity) : 같은 시각적 속성 (색이나 형태)를 가진 점들을 같은 군집으로 인식
• 폐쇄성 (closure) : Winglets는 연속된 형태를 만들어 관찰자가 시각적으로 군집을 완성하도록 유도
  

❗️ Gestalt Principle of Closure (게슈탈트의 폐쇄성 원리)란 ?
시각 인지 심리학에서 매우 중요한 개념 중 하나로, 사람이 불완전하거나 일부가 생략된 도형을 보더라도, 자연스럽게 그 빈틈을 채워서 완전한 형태로 인식하는 경향이 있음을 의미한다.

Winglets

• 왼쪽과 오른쪽 산점도는 점의 위치와 색상 구성이 완전히 동일하다.
• 유일한 차이는 Winglet이 만들어내는 그룹 연관성.
• Winglet의 존재만으로 군집을 지각하는 방식이 완전히 달라짐을 알 수 있다.

• Winglet은 색상이 없는 산점도와 색상이 있는 산점도 모두에서 효과를 보인다.
• Winglet이 색상 없이도 군집을 강조할 수 있는 대체 시각 도구가 됨을 알 수 있다.
• 색상이 있는 산점도에서는, Winglet이 기존의 색상 도구를 보강하여 군집 구조를 보다 명확하게 전달한다.

• Winglet은 윤곽선을 이용해 공통된 영역 내의 점들을 묶어 그룹을 나타내는 'enclosure' 기법과 유사한 아이디어를 공유한다.
• enclosure 기법은 global 형태이며, 고정된 군집 구분을 나타낸다. 이는 개별 점이 어떤 군집에 속해 있는지를 명확히 표현해주지 않는다.
• Winglet은 각 점에 국소적으로 (local) 추가되는 요소로, 해당 점이 어느 군집과 연관되어 있는지를 시각적으로 전달한다.

• Uncertainty : Silhouette Index
  • Winglet은 각 데이터 포인트와 군집 간의 연관성에 대한 불확실성을 표현한다.
  • 명도 (lightness)'를 조절하여 표현하며, 불확실성이 큰 점일수록 명도가 낮게 (더 어둡게) 표현된다.
    • 일반적으로 두 군집이 겹치는 영역에 위치한 점들은 소속에 대한 확신이 낮기 때문에 Silhouette Index 값 또한 낮다.
  • 길이 (stroke length)가 짧을수록 불확실성이 높음을 의미한다.
    • 불확실성이 상당히 높은 점이라 할지라도, 최소한의 날개가 부착되어 있어 어느 군집에 속할 가능성이 있는지를 파악할 수 있다.
      → 부드러운 (soft) 소속 표현

---

💡 RELATED WORK

Similarity principle (유사성 기반 시각화) :

• 주로 유사한 시각적 인코딩을 가진 점들이 군집으로 인식된다는 Gestalt Similarity Principle을 기반으로 한다.
• 색상, 형태 등을 통해 군집 구분을 표현하는 기존 산점도 기법이다.
• 색상은 다중 클래스 산점도에서 평균값을 지각하는 등의 시각적 집계 (aggregation) 작업에서 더 나은 성능을 보이는 것으로 알려져 있다.
  

Proximity principle (근접성 기반 시각화) :

• 위치적으로 가까운 점들이 같은 군집으로 인식된다는 Gestalt Principle of Proximity를 기반으로 한다.
• 일반적인 산점도에서는 두 변수의 데카르트 좌표계에 데이터를 표시하기 때문에, 점들의 위치가 데이터에 의해 본질적으로 결정되어 있어 배치의 유연성이 떨어진다.
• 이에 따라 몇몇 연구들은 산점도에서 군집 간의 분리의 품질을 평가하기 위한 근접성 기반의 지표를 제안하기도 했다.
• 데이터셋이 고차원일 경우, t-SNE, MDS, PCA 등 차원 축소 후 점 간 거리를 통해 군집 구조를 드러내려는 기법을 사용한다.

Continuity (연속성 기반 시각화) :

• 시각적 기호들을 일정한 방향에 따라 조직화하려는 경향이 있다는 Gestalt Principle of Continuity를 기반으로 한다.
• 주로 점에 연결된 선을 통해 변화 추세나 방향성을 보여주는 기법이다.
  

Common Region (공통 영역 기반 시각화) :

• 점들을 공통된 영역 내에 배치함으로써 군집으로 인지할 수 있도록 한다.
• 예를 들어 경계, 외곽선을 이용해 군집을 시각적으로 묶는 방식이 이에 해당한다.
• Winglets은 이러한 윤곽 기반 (enclosure)의 아이디어를 공유하지만 전체를 감싸는 글로벌한 영역 대신, 개별 점에 부착된 작은 국소적인 선 (local stroke)을 통해 소속감을 보여준다.
  

Common Fate (공동 운명 기반 시각화) :

• 같은 그룹에 속한 점들이 동일한 방식으로 움직이면 강하게 연결된 것으로 인식된다는 Gestalt Principle of Common Fate를 기반으로 한다.
• 점들은 정지해 있지만, 깜빡이는 동적 패턴을 통해 연결성을 전달하는 flicker synchrony에 대한 연구도 진행된 바 있다.
• 애니메이션이나 동기화 움직임을 통해 군집을 표현한다.

❗️ Winglets 은..
폐쇄성 원리를 활용하여 색상, 형태, 배치 및 차원 축소 기법들과는 독립적으로 작동하는, 지역적이고 정밀한 군집 표현 도구

---

💡 DESIGN CHOICES AND WINGLETS CONSTRUCTION

Wing Orientation

• 개방형 (Open)

  • Centroid 방식 : 선분들이 중심점 (Centroid)을 향해 뻗어나가도록 구성된다.

  • Directional 방식 : 군집의 대표적인 방향을 따라 선분들이 동일한 방향성을 가지도록 배치된다.

  • example (a) : Centroid 방식은 군집 형상이 초승달 (crescent) 모양일 경우 군집을 잘 표현하지 못한다.

  • example (b) : Directional 방식은 군집의 전체적인 경향성을 선분 방향이 잘 반영하지 못하며, 선분들의 그룹 구성이 모호하게 나타난다.

  • example (c) : 군집의 중심점들이 서로 가까운 경우 즉, centroid 간의 거리가 가까운 경우 Centroid 방식만으로 군집을 구별하기가 어렵다.

    

• 폐쇄형 (Closed)

  • 각 점에 부착된 Winglet들이 전체적으로 순환하는 전역적 구조 (global cyclic structure)를 형성한다.

  • 1) 각 클래스에 대해 밀도 필드 (density field)를 계산
    : 100x100 크기의 격자 위에서 커널 밀도 추정 (Kernel Density Estimation, KDE)를 수행한다. (Gaussian 커널, 대역폭은 Scott's Rule을 따른다)

  • 2) 여러 밀도값에 따라 등고선 (isocontour)을 2D 격자상에 생성
    : 각 밀도 값 (isovalue)에 대해 Marching Squares 알고리즘을 적용하여 해당 밀도에 상응하는 등고선을 보간한다.

    ✏️ 이때, 때때로 하나의 클래스가 여러 밀집된 클라우드로 나뉘어 분포되어 있지만, 동일한 밀도값을 공유하는 경우 발생한다.
    → 여러 개의 독립적인 등고선 그룹 (contour siblings)이 생길 수 있다.
    → 공통된 전역 기준 등고선 (global referenced contour)이 필요 !

  • 3) 전역 기준 등고선을 결정
    : 해당 클래스의 최대한 많은 점을 포함하되, 이상치에 의해 과도하게 왜곡되어서는 안된다.

    • 이를 위해 바깥쪽 (낮은 밀도)에서 안쪽 (높은 밀도) 방향으로 등고선을 따라 추적
    • 포함되는 점의 수가 급격히 감소하는 시점에서 멈추고 직전의 등고선을 선택 (감소폭은 heuristic하게 5%로 설정)
    • 선택된 기준 등고선을 중심으로 각 등고선을 중심점 방향으로 부드럽게 보간
      
      → 각 데이터 점 : 해당 클래스 기준 등고선 위의 가장 가까운 점에 정렬
      → Winglets은 해당 등고선 상의 가장 가까운 점과 동일한 방향으로 자라도록 설정

    

Wing Length

• 길이 범위 :

  • 길이가 매우 짧을 경우, 점처럼 보이게 되어 Winglet의 형태가 약화되며, 점들의 소속이 명확하게 전달되지 않아 정보성이 떨어진다.

  • 길이가 길게 설정되면, 선분들이 서로 연결되어 전체적인 윤곽선 형태를 형성하며, 화면이 복잡해질 위험성이 있다.

  • 두 요소 간의 trade-off 존재 :

    1) 클러스터 소속감을 잘 전달할 수 있는가 ? (association indication)
    2) 시각적으로 너무 복잡해지지 않는가 ? (visual clutter minimization)
    

  • 본 연구에서는 Winglet의 최소 길이를 데이터 점의 지름보다 2 픽셀 더 길게 설정하는 heuristic한 기준을 사용한다.

• 매핑 함수 :

  • 불확실성의 정도를 Winglet의 길이에 매핑한다.
    즉, 데이터 점이 얼마나 확실하게 군집에 속하는지를 길이로 표현하는 것.

  • 시각적으로 어떤 효과를 강조하느냐에 따라 다양한 방식으로 정의될 수 있다.

  • 일반적으로 다음과 같은 형태로 표현 :

    $I(i) = a * s_i ^ n + b$

    $s_i$ : Silhouette Index ($s \in$ [0, 1])
    $a, b$ : 조절 계수
    $n$ : 지수 파라미터, 시각적 표현의 민감도 조절

    • n > 1 (왼쪽) : 불확실성이 조금만 증가해도 Winglet의 길이가 빠르게 짧아진다.
    • n < 1 (오른쪽) : 불확실성이 증가해도 Winglet의 길이 변화가 완만해져, 길이 차이가 줄어든다. 이에 따라 소속감을 강조하고 싶을 때 사용하기 적합하다.→ 본 연구에서는 n = 1을 사용한다.

---

💡 APPLICATIONS

MNIST Dataset
: t-SNE로 투영된 1200개의 숫자 이미지 데이터를 Winglets으로 시각화

• 군집이 멀리 떨어지거나 서로 겹쳐져 있어도 시각적으로 명확하게 군집 구조를 인식할 수 있다.

• 점이 군집에서 멀리 떨어져 있어도 날개가 길다면 높은 신뢰도를 시각적으로 표현할 수 있다.

• 동일한 클러스터 내에 있더라도 서로 멀리 떨어진 점들 사이의 시각적 통합이 이루어진다. (하단 A)

• 겹치는 군집들도 더욱 쉽게 구분된다. (하단 B, C)

  ✏️ 고차원의 데이터를 저차원으로 축소할 경우 투영된 공간에서는 서로 가까이 있는 점들이 실제보다 더 강하게 연결된 것처럼 보이는 경우가 존재한다.
  → 기존 고차원 공간에서의 유클리드 거리 기반으로 계산한 Silhouette Index를 반영함으로써 소속의 불확실성을 표현할 수 있다.

• 군집 내 대부분의 점들과 멀리 떨어져 위치해 있는 경우에도, Winglet이 길다면 해당 점이 군집에 속한다는 높은 확신을 전달할 수 있다. (하단 D)
  

Winglets Joint Design
: 색상, 밀도맵, 집계와 함께 사용할 수 있으며, 복잡한 산점도에도 적용 가능

• (a) : 색상을 보조 수단으로 추가하여 시각적 효과를 강화한다.
• (b) : 색상이 없거나 색상 간 구분이 약한 경우에도 Winglets만으로도 어느 정도의 군집 소속감을 전달할 수 있다.
• (c) : 시각적 복잡도가 높은 산점도에서는 (visual clutter) 데이터 다운샘플링을 수행한 후 Winglets을 추가하고, 손실된 정보는 밀도 맵을 추가하여 보완할 수 있다.
• (d) : 산점도를 단순화하기 위해 집계 (aggregation)를 수행할 수 있다. Splatterplots의 방식을 따라 집계 영역 밖의 이상치들은 Winglets로 강조하고, 집계 영역 내에서도 점 분포를 표현하기 위해 이를 사용할 수 있다.
  

---

💡 EVALUATION

Methodology
정규 산점도와 Winglets가 적용된 산점도 모두에서 참가자들이 4가지 과제를 수행하도록 하는 통제된 유저 스터디를 수행한다.

📍 목적 : Winglets가 일반 산점도보다 연관성과 불확실성에 대한 인식을 향상시키는지를 검토

• 세가지 독립 변수 :

  • Winglets 여부 (있음, 없음)
  • 군집 수 (3개, 5개, 8개)
  • 군집 간 중첩 정도 (낮음, 중간, 높음)
    

• Participants:

  • 총 44명의 참가자
  • 시각화에 대한 사전 지식 수준 :
    • 17명 : 시각화 지식 없음
    • 22명 : 최소한의 지식
    • 5명 : 중간 ~ 높은 수준의 시각화 지식 보유

• Materials :

  • 총 9개의 조합 조건 (군집 수 x 겹침 정도)를 바탕으로 각 조건마다 서로 유사하지만 동일하지 않은 두 개의 산점도를 제작한다.
    • 절반은 일반 산점도
    • 절반은 Winglets을 적용한 버전의 산점도
      : 각 클래스 내에서는 명도를 통해 불확실성을 표현하고, Winglet의 최소 길이는 이전과 동일하게 설정한다.

• Tasks :

  • T1 : 그래프에 군집이 몇 개 있는가 ? - 전체 군집 수 파악 (글로벌 연관성)
  • T2 : 주어진 점은 어떤 군집에 속하는가 ? - 특정 점의 군집 소속 판별 (로컬 연관성)
  • T3 : 주어진 두 군집 중, 어떤 군집이 전체적으로 불확실성이 더 높은가 ? (글로벌 불확실성)
  • T4 : 같은 군집 내 두 점 중, 어느 점이 군집에 더 확실하게 속하는가 ? (로컬 불확실성)
    

• Measurements :

  • 완료 시간 (Completion Time)
  • 정확도 (Accuracy, 오류율 기반)

• Procedure :

  • 도입부 (Introductory part)
    : 참가자에게 실험 구조에 대해 간략하게 설명하고, 산점도 예시와 핵심 개념들 설명한다.
    예) 점의 소속 불확실성 (association uncertainty), 그룹의 평균 불확실성 및 전체 불확실성 등
    → 이후 8개의 연습 문제 제시한다.

  • 본 실험 (Main experiment)
    : 각 실험은 질문과 상응하는 산점도와 다지선다형 보기 항목으로 구성된다.
    참가자들은 빠르고 정확하게, 주어진 질문에 가장 적합한 답변을 선택하도록 안내 받는다.
    → 산점도가 제시된 순간부터 응답 선택까지의 완료 시간과 선택된 답변은 자동으로 기록된다.

  • 후속 인터뷰 (Follow-up)
    : 실험이 끝난 후에는 두 종류의 그래프 중 어떤 것을 선호했는지 개별적으로 인터뷰한다.
    

• Analysis :

  • 완료 시간에 대해 각 과업별로 3요인 분산 분석 (3-way ANOVA)을 수행한다.
  • 독립 변수는 Winglets의 유무, 군집 수, 겹침 정도로 설정되며 모두 피험자 내 요인 (within-subject variables)으로 다룬다.
  • 효과 크기 (effect size)인 부분 에타 제곱 (partial eta-squared, η²)도 함께 보고한다.
    → 표본 크기의 영향을 받지 않고 차이의 효과 크기를 측정하는 지표
    • η²의 해석 기준은 다음과 같다 :
      0.01은 작은 효과 (small effect),
      0.06은 중간 효과 (medium effect),
      0.14는 큰 효과 (large effect)

Results

• 예상대로, 모든 과업에서 군집 수와 겹침 정도 모두에 대해 주효과가 나타난다.
• 군집 수와 겹침 정도가 증가할수록 참가자들이 실험을 완료하는 데 걸린 시간도 비례하여 증가한다.

📍 T1) 제시된 각 산점도에 군집이 몇 개인지 파악하는 과업

• Winglets의 유무에 따른 강한 주 효과가 나타난다.
  • Winglets이 있는 조건이 없는 조건보다 더 빠른 수행 시간을 보인다.
• 군집 수와 겹침 정도 모두에 대해 주효과가 나타난다.
  • 군집 수가 많거나, 겹침 정도가 클수록 더 많은 시간이 소요된다.
• Winglets x 군집 수 간의 상호작용 효과도 나타난다.
  • 군집 수가 많아질수록 Winglets의 효과 (시간 단축 효과)가 더 커진다는 것을 시사한다.
• Winglets x 겹침 정도 간의 상호작용 효과도 유의미하게 나타난다.
  • 겹침 정도가 클수록 Winglets의 효과가 더 강하게 나타난다는 것을 의미한다.
• 세 요인 간의 상호작용 효과 (군집 수 x 겹침 정도 x Winglets 유무) 는 유의미하지 않다.

📍 T2) 특정 점이 어떤 군집에 속하는가를 판단하는 과업

• Winglets의 유무에 따른 주 효과가 나타난다.
  • Winglets이 있는 조건이 없는 조건보다 유의미하게 더 빠르게 수행된다.
• 군집 수와 겹침 정도 모두에 대해 주효과가 나타난다.
• Winglets x 군집 수 간의 상호작용 효과도 나타난다.
• Winglets x 겹침 정도와 세 요인 간의 상호작용은 유의미하게 나타나지 않는다.
• 정확도 측면에서, Winglets의 유무에 따른 두 조건 간의 오류율 차이가 매우 크다.
  • Winglets이 없는 조건 : 오류율 21.2%
  • Winglets이 있는 조건 : 오류율 3.5%

📍 T3) 두 군집 중 전체 불확실성이 더 큰 군집을 판단하는 과업

• Winglets이 있는 조건이 없는 조건보다 빠르긴 했으나 Winglets 유무에 따른 주효과는 통계적으로 유의미하지 않다.
• 군집 수와 겹침 정도에 대해서는 주효과가 나타난다.
• Winglets x 군집 수 간의 상호작용 효과도 나타난다.
  • 군집이 3개일 경우 : Winglets이 없는 조건이 더 빠르게 나타난다.
  • 군집이 5개일 경우 : Winglets이 있는 조건이 더 빠르게 나타난다.
  • 군집이 8개일 경우 : Winglets이 있는 조건이 더 빠르게 나타난다.
    → 군집 수가 많을수록 Winglets의 효과가 더 강하게 나타난다는 것을 시사한다.
• Winglets x 겹침 정도와 세 요인 간의 상호작용은 유의미하게 나타나지 않는다.
• 정확도 측면에서, 오류 수의 차이는 통계적으로 유의미하지 않다.

📍 T4) 주어진 두 점 둘 어느쪽이 더 불확실한 군집에 속하는지를 판단하는 과업

• Winglets 유무에 따른 주효과는 통계적으로 유의미하지 않다.
• 군집 수와 겹침 정도에 대해서는 주효과가 나타난다.
• 모든 상호작용 효과는 유의미하지 않다.
• 정확도 측면에서, 오류 수의 차이는 통계적으로 유의미하지 않다.

📍 Preference) 후속 인터뷰를 통해 파악한 사용자 선호도

• 두 시각화 조건에 대한 개인적인 의견과 선호도를 파악하기 위해 개방형 인터뷰 (open-ended interview)를 진행하였다.
• 참가자 44명 중 40명이 Winglets 조건을 더 선호한다.
  • 그 외 3명은 Winglets이 없는 산점도를 더 선호하고, 1명은 중립적이다.
• 전반적으로 참가자들은 Winglets를 긍정적으로 평가하며, 이가 산점도를 더 잘 조직화하고 명확하게 만든다고 판단한다.

간략하게 정리하자면,

• T1, T2 (군집 연관성 인식) : Winglets가 유의미하게 인식 정확도와 속도 개선
• T3, T4 (불확실성 판단) : 효과가 덜하나, 군집 수가 많아질수록 Winglets의 효과 증가
• 참가자 선호도 : 44명 중 40명이 Winglets가 시각적으로 더 명확하다고 응답

⚠️ 연구의 한계

• 군집 수 x 겹침 정도 (3x3) 조건 각각에 대해 단 하나의 산점도만 사용했다는 점이다.
  • 조건 간의 차이가 각 조건의 단일 산점도에 내재된 우연적 특성 (idiosyncrasies)에 영향을 받을 가능성이 있다.
  • 이는 상호작용 효과에 대한 해석에 제한을 가할 수 있다.

---

💡 CONCLUSION

• Winglets은 Gestalt Principle of Closure (게슈탈트의 폐쇄성 원리)를 기반으로 하며, 방향성과 길이라는 두가지 주요 시각적 속성으로 설계된다.
  → 이를 통해 데이터 포인트가 어떤 군집에 속하는지와 그 소속에 대한 불확실성을 시각적으로 표현한다.
• Winglets는 다중 군집 산점도에서 연관성의 지각을 향상시키며, 이는 그래프의 복잡도나 시각적 혼잡도가 높을수록 더 뚜렷해진다는 가능성을 시사한다.
• 한계 및 미래 연구 방향 :

  • 시각적 혼잡 유발 가능성
    → 집계 / 다중 클래스 다운 샘플링 등의 단순화 기법과의 병행이 가능하다.

  • Winglets가 유발하는 시지각 메커니즘에 대한 추가적인 연구 필요하다.

    • 예) Winglets들이 서로 근접하여 배치될 때 발생하는 공선성 (collinearity)이나 평행성 (parallelism)은 군집의 지각을 돕거나 방해할 수 있다.

  • Glyph 기반 시각화 연구 주제와도 결합해볼 수 있다.

    • Glyph : 여러 시각적 속성을 조합한 작은 기호로, 데이터 항목의 특성을 시각화하는 데 사용된다.

  • Winglets의 색, 두께, 형태와 같은 다른 시각적 속성들을 탐색하여, 특정 사용 시나리오에 맞추어 설계할 수 있다.

---

💭 MY THOUGHTS

• Information Visualization과 관련한 논문을 읽어본 적이 없어서, 연구 설계나 평가가 어떻게 이루어지는지를 살펴보기에 매우 적합한 연구였다고 생각합니다.
• 게슈탈트 원리를 활용하여 연관성 기반의 지각을 유도하고, 짧은 선분으로 전체적인 군집 구조를 암시한다는 점에서 인지 심리학과 시각화 디자인을 적절히 융합한 아이디어라고 생각합니다. 나아가, '선의 길이'를 활용하여 사용자의 인지 부담을 최소화하면서도 더 많은 정보를 표현하고자 했다는 점에서 효율성을 극대화한 모델링이라고 생각합니다.
• 시각화 분야에서 사용자 중심의 설계가 어떻게 이루어지는지를 살펴보고, 정량적, 정성적 방법을 모두 활용하여 사용자 경험 전반을 다각도로 조명하는 과정을 접해볼 수 있어 좋았습니다 :)