[Paper Review] Investigating Perceptual Biases in Icon Arrays

📍 Investigating Perceptual Biases in Icon Arrays (아이콘 배열의 인지적 편향에 관한 연구)

https://dl.acm.org/doi/10.1145/3491102.3501874

💡 Summary

• 아이콘 배열은 동일한 모양의 일부를 채워 확률을 전달하는 그래픽 표시 방식이며, 대중에게 확률을 전달하는 데 널리 사용된다.
• 본 연구는 아이콘 배열에서 모양을 채우고 배열하는 방식이 확률 인식에 미치는 영향을 탐구한다.
• 실험 참가자들은 0%에서 100% 사이의 확률을 6가지의 서로 다른 배열로 묘사한 아이콘 배열을 보며, 그 결과를 분석함으로써 아이콘 배열 방식에 따른 인지적 편향을 측정한다.
  
  그에 따른 주요 발견은 간단하게 정리하자면 다음과 같다 :
  
  
• 상단(top), 행(row), 대각선(diagonal) 배열을 볼 때 참가자들은 확률을 더 정확하게 추정한다.
• 중앙(central) 배열은 비율을 과대평가하게 만든다.
• 가장자리(edge) 배열은 비율을 과소평가하게 만든다.
• 무작위(random) 배열은 객관적인 비율에 따라 과대평가 또는 과소평가 편향을 보인다.

---

💡 INTRODUCTION

• 아이콘 배열은 추출된 확률 정보를 시각화하여 일반 대중에게 효과적으로 전달하기 위한 수단으로 널리 사용된다.

  • 비율이나 퍼센트(예: 10%) 대신 자연 빈도(예: 100명 중 10명)를 사용하여 최적의 통계적 추론을 유도하고 수치 이해도를 높일 수 있다.
  • 엔터티-개별 아이콘 간의 일대일 매핑은 높은 인식력을 가지며, 독자의 데이터 참여도를 높이는 경향을 보인다.

• 아이콘 배열의 장점에도 불구하고, 최적의 디자인을 만들려면 디자이너는 여전히 많은 결정을 내려야 한다.

• 아이콘성 수준(추상적 vs. 구체적 등)은 정보에 대한 위험 인식에 영향을 미칠 수 있으며, 채워진 아이콘의 공간적 배열이 확률 인식에 인지적 편향을 유발하는지는 여전히 불분명하다.

• 기존 연구의 한계 : 대부분의 기존 연구는 상단-하단 배열 또는 무작위 배열을 다른 표현 방식과 비교하는 데 초점을 맞추었으며, 특정 아이콘 배열 방식이 시청자의 인식에 어떻게 영향을 미치는지는 조사하지 않았다.

📍 본 연구의 목표

• 채워진 아이콘의 특정 공간적 배열이 확률 정보의 체계적인 과대 또는 과소평가를 유발하는지 체계적으로 조사한다.
  • 아이콘 배열 방식이 시청자의 확률 인식에 미치는 영향을 조사하는 세 가지 실증 연구를 수행한다.
  • 다양한 확률 값에 걸쳐 아이콘 배열의 인지적 편향을 예측하는 모델을 구축한다.
• 이러한 잠재적 편향을 이해하고 대응함으로써, 디자이너에게 아이콘 배열을 효과적으로 배열하여 청중이 정확하게 비율 값을 추출할 수 있도록 관련한 가이드라인을 제시한다.

---

💡 OVERVIEW OF EXPERIMENTS

📍 실험 1

• 여섯 가지 아이콘 배열 방식을 식별하고 이러한 배열이 사람들이 비율 값을 인식하는 방식에 어떻게 영향을 미치는지 조사한다.
• 일반적으로 Top, Row, Diagonal 배열을 볼 때 참가자들은 비율을 더 정확하게 추정했지만, Central, Edge, Random 배열을 볼 때는 비율을 잘못 추정하는 경향이 있다.

  🔍 Research Question
  아이콘 배열 방식 (Figure 1에 나열된 6가지)이 사람들의 비율 값 인식에 어떻게 영향을 미치는가?
  어떤 배열이 가장 정확하고 가장 부정확한 비율 추정치를 유도하는가 ?

📍 실험 2

• 중앙 및 가장자리 배열의 인지적 편향을 더 체계적으로 조사하기 위해 0%에서 100% 사이의 모든 정수 확률 값을 다루도록 테스트 확률 값을 확장한다.
• 실험 1에서 관찰된 과대평가 및 과소평가 편향을 재현하고 중앙 및 가장자리 배열 디자인의 여러 변형으로 결과를 확장한다.

  🔍 Research Question
  사람들의 비율 값 인식에 대한 중심성의 효과 (centrality effects)는 무엇인가?
  특히 중앙 및 가장자리 배열에서 아이콘 배열을 볼 때 사람들은 어떻게 편향되는가?

📍 실험 3

• 무작위 배열에 대해 테스트한 확률 값을 확장하고 실험 1에서 관찰된 오차를 재현한다.
• 네 가지 미적 스타일의 아이콘 배열로 효과의 견고성을 테스트한다.

  🔍 Research Question
  사람들은 무작위로 배열된 아이콘 배열을 어떻게 인식하는가?
  추정 시 특정 값을 참조점으로 사용하는가?
  이 편향이 다른 시각 디자인의 아이콘 배열에도 일반화되는가?

---

💡 EXPERIMENT 1 : ARRANGEMENT EFFECTS

• 디자인 동기
  • 대부분의 기존 연구는 그리드를 상단 또는 하단에서 채우거나 무작위 배열을 사용한다.
  • 일부 연구는 중앙 및 가장자리 배열 또한 테스트하지만, 주로 고정된 확률 (45%)에 한하여 사용된다.
  • 본 연구는 광범위한 객관적 확률에 걸쳐 이러한 배열이 어떻게 인식되는지를 체계적으로 조사하고자 한다.
  • 미국 매사추세츠 대학교 학생들의 파일럿 설문조사를 통해 아래와 같은 6가지 일반적인 배열을 추출하여 연구의 시작점으로 사용한다.

[Figure 1] 실험 1에서 사용된 여섯 개의 아이콘 배열은 10%에서 90%까지의 비율을 나타낸다.

📍 여섯 가지 아이콘 배열 방식

• 상단 (Top): 채워진 아이콘 사이에 간격 없이 상단 왼쪽 모서리부터 채워진다.
• 가장자리 (Edge): 배열의 가장 바깥쪽 층이 먼저 채워지고, 그 다음 두 번째 층 등의 순으로 안쪽까지 채워집니다.
• 중앙 (Central): 가장자리 배열과 반대로, 가장 안쪽 레이어의 아이콘이 먼저 채워지고 바깥쪽으로 나선형으로 채워진다.
• 대각선 (Diagonal): 상단 왼쪽 모서리부터 대각선으로 아이콘이 채워진다.
• 행 (Row): 상단 행부터 시작하여 한 행 건너뛰어 채워진다. 모든 건너뛴 행이 채워진 후, 이전에 건너뛴 행이 채워진다.
• 무작위 (Random): 아이콘이 무작위로 채워진다.

• 참가자 (Participants): 노스웨스턴 대학교 학부생 49명

• 실험 자극 및 디자인

  • 720x720 픽셀 흰색 배경에 10x10 그리드 아이콘 배열을 사용한다.
  • 회색 테두리가 있는 각 그리드는 채워지거나 (검은색) 채워지지 않을 수 (흰색) 있다.

  📍 확률 값

  • 0%에서 100%까지 10의 배수
  • 25%와 75% 사분위수
  • 5%와 95% 경계
  • 45%와 55% (50% 근처 편향에 취약)
  • 12%, 18%, 32%, 38%, 72%, 78%, 92%와 같은 비정수 값 포함
    
    총 6가지 배열 × 22가지 비율 = 132개의 아이콘 배열 생성

• 절차

  • 각 시행에서 아이콘 배열이 화면에 1초 동안 표시된 후, 0에서 100까지의 슬라이더를 통해 채워진 그리드의 백분율을 추정하도록 요청한다.
  • 0(전혀 자신 없음)에서 100(매우 자신 있음)까지의 슬라이더로 추정치의 자신감 또한 보고하도록 한다.
  • 응답 시간은 제한하지 않는다.

• 결과
  [Figure 2] 실험 1 결과 보고

  • 상단: 6개 배열에 대한 아이콘 배열의 채워진 그리드 수에 따른 평균 추정 오차를 보여준다.

    • 오른쪽은 모든 객관적 확률 수준을 집계한 6개 배열의 전체 추정 오차다.

  • 하단: 6개 배열에 대한 아이콘 배열의 채워진 그리드 수에 따른 보고된 평균 추정 신뢰도를 보여준다. (참여자가 보고한 자신감 수준)

    • 오른쪽은 6개 배열에 대한 전체 신뢰도다.

    ✏️ 비율 추정
    가장 정확한 배열 : 상단(top), 행(row)
    가장 부정확한 배열 : 가장자리(edge), 무작위(random) 및 중앙(central)

  • 중앙 배열은 대부분의 확률 값을 과대평가하며, 객관적 확률이 50% 근처에서 정점에 달한다.

  • 가장자리 배열은 확률을 과소평가하며, 중앙 배열의 거울 이미지 패턴을 보이며, 과소평가는 50% 근처에서 정점에 달한다.

  • 무작위 배열은 확률을 과소평가하며, 추정 오차는 주기적인 패턴을 보인다. 과소평가는 40% 근처에서 정점에 달했고, 80% 근처에서는 과대평가로 전환되는 경향을 보인다.

  • 대각선, 상단, 행 배열의 경우 확률을 약간 과소평가하지만, 전반적으로는 높은 정확도를 보인다.

    ✏️ 추정 자신감
    객관적 확률이 0%, 100%에 가까울수록 더 자신감을 보이며, 50%에 가까울 때 자신감이 하락한다.
    가장 자신감 있는 배열 : 상단(top), 행(row)
    가장 자신감 없는 배열 : 무작위 (random)

  • 자신감과 추정 오차는 음의 상관관계다. 그에 따라 자신감이 높을수록 추정치가 더 정확하다.

• 잠재적 교란 변수

  • 순서 효과 : 아이콘 배열을 본 순서는 추정 오차에 큰 영향을 미치지 않는다.

    • 그러나 순서는 참가자의 보고된 자신감에 유의미한 영향을 미치며, 실험이 진행될수록 자신감이 증가함을 알 수 있다.

  • 나이, 연구 경험, 시각적 이해력 : 나이와 시각적 이해력 점수는 추정 오차에 유의미한 요소지만, 연구 경험은 그렇지 않다.

    • 나이가 많고 시각적 이해력 점수가 높은 참가자들이 더 많은 추정 오차를 범하는 경향을 보이지만, 효과 크기는 매우 작다.

---

💡 EXPERIMENT 2 : CENTRALITY EFFECTS

• 관련한 기존 연구의 한계를 해결하기 위해 수행된다.
  • 일부 연구는 중앙 및 가장자리 배열에 대한 테스트를 진행하긴 하지만, 45% 확률에 한하여 극단적인 패턴만 테스트한다는 한계를 지닌다.

[Figure 3] 다양한 확률 값에 걸쳐 중심성이 변하는 아이콘 배열

• 각 열에는 고정된 확률 값(0%, 5%, 10%, ...)을 나타내는 아이콘 배열이 표시되며, 각 행에 따라 중심성이 달라진다.

• 중심성은 위쪽 행에서 가장 높고 아래쪽 행에서 가장 낮다.

• 자극 생성

  • Figure 3과 같이 중심성의 네가지 수준에서 101개의 비율을 탐색한다.

  • 10x10 그리드 중앙에 가우시안 분포를 기반으로 무작위 정사각형 그리드를 생성한다.

    $p_{ij} \propto \exp\left(-\frac{d_{ij}^2}{2\sigma^2}\right)$

  • 작은 $\sigma^2$ 값은 높은 중심성 그리드(중앙으로 모여 있음)를 생성하며, 큰 $\sigma^2$ 값은 균일하게 무작위로 채워진 그리드를 생성한다.

  • 매우 낮은 중심성(가장자리) 그리드는 채워지지 않은 위치를 샘플링하여 생성한다.

  • 테스트를 위해 네 가지 스케일 값($\sigma^2 = 2.0, 3.5, 5.0, 6.5)$을 선택하고, 0%부터 100%까지 모든 정수 백분율 값에 대해 각 스케일 값당 101개의 중앙 배열과 101개의 가장자리 배열 아이콘 배열을 생성한다.

• 참가자 : Amazon Mechanical Turk(MTurk)에서 800명의 참가자

  • 808개 자극 중 25개를 무작위로 선택하여 추정하도록 요청하고, 자신감 측정은 생략한다.

• 결과
  [Figure 4] 중앙 및 가장자리 배열의 평균 추정 오차를 네 가지 중심성 수준 (2.0, 3.5, 5.0, 6.5)과 다양한 수준의 확률 값에 따라 나타낸다.

  • 중앙 배열은 객관적 확률을 과대평가하는 경향을 보인다.
    과대평가는 객관적 확률이 60%에서 70% 사이일 때 정점에 달한다.

  • 가장자리 배열은 객관적 확률을 과소평가하는 경향을 보인다.
    과소평가는 30%에서 50% 사이일 때 정점에 달한다.

  • 중심성 스케일 ($\sigma^2$)의 유의미한 주요 효과가 나타난다.
    → 스케일 값이 높을수록 (즉, 배열이 더 무작위로 보일수록) 참가자들의 추정 오차는 더 낮다.
    
    

  • 배열과 중심성 스케일 사이에 유의미한 상호작용이 나타난다.

  • 높은 중심성 스케일 ($\sigma^2 = 2.0$)일 때, 중앙 및 가장자리 배열이 더 뚜렷하게 보이고, 참가자들의 추정 오차 패턴도 더 뚜렷하게 나타난다.

  • 낮은 중심성 스케일 ($\sigma^2 = 6.5$)일 때, 중앙 및 가장자리 배열이 무작위 배열과 더 유사하게 보이기 시작하며, 참가자들은 무작위 배열을 볼 때와 유사한 편향 패턴을 보인다.

    • 추정 오차는 더 주기적인 패턴을 따른다.
      (앞선 무작위 배열과 유사)
    • 20%에서 60% 범위에서는 과소평가, 60%에서 80% 범위에서는 과대평가, 그 다음에는 다시 과소평가를 하는 경향을 보인다.

• 논의

  • 실험 1에서 발견된 중앙 및 가장자리 배열의 확률 추정 편향 패턴을 재현한다.
  • 중심성은 아이콘 배열의 확률 인식을 편향시키는 데 중요한 역할을 한다.
    높은 중심성 스케일 ($\sigma^2 = 2.0$)은 더 많은 과대평가 및 과소평가를 초래한다.
  • 중심성 스케일이 낮을 때 ($\sigma^2 = 6.5$), 중앙 및 가장자리 배열의 아이콘 배열이 무작위 배열과 유사해지며, 참가자들의 추정치는 유사한 주기적 패턴을 따르기 시작한다.
    → 이는 실험 1의 결과와 심리물리학 문헌의 기존 결과와도 일치한다.

---

💡 EXPERIMENT 3 : RANDOM ARRANGEMENT

• 실험 1 및 2에서 관찰된 무작위 배열의 인지적 편향 패턴을 정교하게 조사하고, 참가자들이 비율 추정 시 특정 값을 참조점으로 사용하는지 여부와 같은 잠재적 전략을 식별하고자 한다.

❗️ 배경 (Steven의 Power Law)

• 사람들은 작은 값 (예: 0%에 가까운 확률)을 과대평가하고 큰 값 (예: 100%에 가까운 확률)을 과소평가하는 경향이 있어 주기적인 편향 패턴을 보인다.
• 그러나, 추가적인 값을 참조점으로 사용하면 이 주기적 편향 패턴이 참조점 주변에서 재설정될 수 있다.
• 예를 들어, 50%를 참조점으로 사용하면 50%보다 약간 낮은 값은 과소평가하고 50%보다 약간 높은 값은 과대평가하는 두 주기 패턴이 나타날 수 있다.

[Figure 5] 네 가지 시각적 스타일에 대한 (묘사된 확률 값의 함수로서의) 평균 오차. 테스트된 모든 아이콘 배열은 무작위 배열로 이루어져 있다.

• 네 가지 시각적 스타일 (큰 그리드, 중간 그리드, 밝은 음영이 있는 중간 그리드, 작은 그리드)에 걸쳐 인지적 편향의 강건성을 테스트한다.

• 참가자 : MTurk에서 800명의 작업자를 모집하고, 각 스타일 조건에 200명씩 무작위로 할당한다.

• 0%에서 100%까지 모든 정수 백분율 값에 대해 각 시각적 스타일당 101개의 아이콘 배열을 생성하여 총 404개의 자극이 사용된다.

• 결과

  • 편향의 주기적 패턴은 표면적인 스타일의 변화에도 불구하고 강건하게 나타난다.
  • 네 가지 시각적 스타일의 평균 추정 오차는 매우 유사하다.
  • 추정 오차의 전반적인 경향은 객관적 확률 수준에 걸쳐 유지된다.

    ✏️ 편향 패턴 (Figure 5 참조)
    0%에서 20% 범위 : 약간의 과대평가
    → 20%에서 60% 범위 : 상당한 과소평가
    → 60%에서 90% 범위 : 다시 과대평가
    → 90%에서 100% 범위 : 약간의 과소평가

• 논의

  • 참가자들은 무작위 배열 아이콘 배열의 확률을 추정할 때 0%와 약 60%를 참조점으로 사용한다.
  • 0%와 60%보다 약간 높은 값은 과대평가하고, 60%보다 약간 낮은 값과 100%보다 약간 낮은 값은 과소평가하여 앞서 발견한 주기적인 패턴을 따른다.

---

💡 GENERAL DISCUSSION AND CONCLUSION

✏️ 주요 연구 결과 요약

• 채워진 그리드의 시각적 배열과 객관적 확률 모두 사람들의 추정 정확도에 영향을 미친다.
• 상단 (Top), 행 (Row), 대각선 (Diagonal) 배열 : 객관적 확률의 모든 수준에서 상당히 정확하게 비율을 추정한다.
• 중앙 (Central) 배열: 비율을 과대평가하며, 이는 60% 근처에서 정점에 달한다.
• 가장자리 (Edge) 배열 : 비율을 과소평가했으며, 과소평가는 40% 근처에서 정점에 달한다.
• 무작위 (random) 배열 : 객관적 비율에 따라 과대평가 또는 과소평가 편향을 보인다. 심리물리학 문헌의 기존 결과와 일치하는 주기적인 패턴을 따른다.

• 중심성 효과 : 중심성은 인식된 확률을 조작하는 강력한 수단으로 작용한다.
  • 극단적인 중심성을 가진 그리드는 무작위로 채워진 그리드에서 보이는 인지적 효과를 역전시킬 수 있다.
  • 예를 들어, 실험 1과 3에서 45% 채워진 무작위 배열은 일관되게 과소평가되지만, 실험 2에서 45% 채워진 고중심성 그리드는 일관되게 과대평가된다.
• 비선형성 : 인지적 편향과 중심성 사이의 관계는 매우 비선형적이고 복잡하다.

---

💡 IMPLICATIONS FOR DESIGN

• 채워진 그리드가 아이콘 배열 내에 공간적으로 배열되는 방식은 시청자 인식에 상당한 영향을 미친다.
• 이에 따라 본 연구는 시각화 디자인의 관점에서 실험 결과 기반의 가이드라인을 제공한다.

✅ 시각화 디자인을 위한 권장 사항

• 백분율 명시 : 인지적 편향을 줄이기 위해 아이콘 배열에 묘사된 백분율을 명시적으로 주석 처리하는 과정이 필요하다.
• 상단(Top) 또는 행(Row) 배열은 독자 / 시청자가 가장 정확하고 자신감 있는 확률 추정치를 내리는 데 도움을 준다.
• 대각선(Diagonal) 배열의 경우 인식 정확도 면에서는 유사한 효과를 얻을 수 있지만, 시청자의 자신감은 훨씬 낮을 수 있다.
• 중앙(Central) 배열은 시청자가 확률을 과대평가하게 만든다. 예를 들어, 60%의 알레르기 반응 확률을 묘사하는 중앙 배열 아이콘을 보는 환자는 실제보다 더 큰 인지적 부담을 느낄 수 있습니다.
• 가장자리(Edge) 배열은 시청자가 확률을 과소평가하게 만든다. 예를 들어, 45%의 위험 확률을 묘사하는 가장자리 배열 아이콘을 보는 환자는 결과를 실제보다 더 낙관할 수 있다.
• 무작위(Random) 배열 (= "위험 극장"): 불확실성 개념을 더 잘 이해하는 데 도움이 되는 장점이 있지만, 인지적 정확도와 자신감을 일부 희생해야 한다.
• 60% 참조점 활용 : 사람들이 아이콘 배열에서 비율 추정 시 60%를 참조점으로 사용하는 경향이 있어, 60% 근처의 확률을 인식할 때 가장 정확하다.

---

💡 MY THOUGHTS

• 사람의 perception이라는, 매우 추상적이고 인지적인 영역의 연구 대상을 통제된 실험 환경에서 관찰했다는 점이 매우 신선하게 느껴졌습니다. 일상적으로 접하는 시각 자극으로부터 이러한 인지적 편향을 발견하고, 이를 실험적으로 풀어내기 위해 엄밀한 설계를 진행했다는 점이 인상 깊었습니다. 더불어, 총 3단계에 걸친 실험 설계 과정을 바탕으로 기존 연구의 한계를 해소하고 discussion을 확장한 점 또한 본 연구의 매우 큰 의의라는 생각이 듭니다.
  
  
• 사람이 특정 자극을 어떻게 인지하고, 답변을 도출함에 있어 얼만큼의 신뢰도 (혹은 자신감)을 가지는지를 측정하는 실험인 만큼 개인에 따른 차이와 주관성이 가지는 무게가 매우 클 것으로 예상됩니다. 편향이나 부정확성을 유발하는 다양한 환경적인 요인이 존재할 것으로 보이는데, 이에 대한 통제는 어떻게, 얼만큼 이루어져야 하는지가 더욱 궁금해진 것 같습니다. 예를 들어 .. 연구의 한계점에서도 잠시 언급된 것과 같이, 슬라이더를 사용하여 백분율을 보고하도록 요청하는 방식은 참가자로 하여금 시각적 정보 (면적)를 언어적 정보 (숫자)로 변환하는 과정을 거치도록 강제하는 것입니다. 이는 개인의 내부에서 추가적인 인지 및 발화 과정을 이끌어내는 것이기 때문에, 편향 및 개인차로 인한 결과의 간극은 불가피할 것 같습니다. 이러한 정의 내리기 어려운 편향 가능성을 어디까지 통제할 수 있는지, 또 이러한 변이를 어느 범위까지 허용하는지 등이 궁금해졌습니다 .. (다른 연구들을 더 찾아보야겠지만요 !)
  
  
• 마지막으로, 인지적인 영역에 대한 실험적 연구 결과인 만큼, 단순히 결과 나열이 되지 않기 위해서는 어떤 라이팅이 이루어져야 하는지를 살펴볼 수 있었습니다. 제시할 시스템이나 아키텍처 등이 없는 만큼 본 연구 또한 해당 연구 결과가 왜 유의미한지, 이러한 연구 결과를 어디에 적용해볼 수 있는지 (Application, Implication for design) 등에 무게를 많이 둔 것 같았습니다. 또한 추상적인 인지 과정을 정량화하고 표면에 드러내는 연구인 만큼 연구 결과를 실질적인 가이드라인이나, 지침으로 확장하는 것이 더욱 큰 contribution이 될 수 있겠다는 생각이 들었습니다.