[Paper Review] What Makes a Visualization Memorable?

📍 What Makes a Visualization Memorable? (IEEE TVCG '13)

Paper : https://dl.acm.org/doi/10.1109/TVCG.2013.234

---

✏️ Summary

• 시각화 커뮤니티 내에서 지속되어 온 논쟁, 그 중에서도 시각화 유형과 장식적인 요소가 데이터 이해에 어떤 영향을 미치는가를 주로 다룬다.
• 인간 인지에서 이해 (understanding)와 기억 (memorability)이 밀접하게 얽혀 있다는 사실을 전제로,
  시각화의 효과와 영향력을 논의하기 위한 첫 단계로서 “어떤 시각화가 더 기억에 남는가?”라는 질문을 제기한다.
  
  
• 이를 위해 저자들은 대규모 사용자를 대상으로 한 실험을 설계하였다.
• 본 실험은 뉴스 미디어, 정부 보고서, 과학 저널, 인포그래픽 사이트 등 다양한 출처에서 수집한 2,070개의
  single-panel 시각화를 대상으로 하였다.
• 각 시각화는 bar chart, line graph 등 유형별로 분류되었고, data-ink ratio, visual density 등의
  시각적 속성으로도 주석 처리되었다.
  
  
• Amazon Mechanical Turk를 활용해 수백 명의 참가자로부터 기억 점수를 수집하였고,
  분석 결과 참가자들 사이에서 “어떤 시각화가 기억에 남고 어떤 것이 잊히는가”에 대해 높은 일관성이 존재함을 발견하였다.
  → 즉, memorability는 개인차가 아니라 시각화 자체의 속성일 가능성이 높다는 것이다.
• 종합적으로 저자들은 memorability를 정보의 유용성을 정량화하는 일반적인 지표로 볼 수 있다고 주장한다.

💡 Introduction

• 본 논문은 시각화 커뮤니티에서 지속되어 온 “chart junk” 논쟁에서 출발한다.
  Chart Junk 예시 :
  https://dl.acm.org/doi/10.1145/1753326.1753716 에서도 chart junk가 내용 이해도 및 기억에 어떠한 미치는 영향을 추가로 살펴볼 수 있다.

  • 전통적 시각화 이론가들 (Tufte, Few 등)은 데이터-잉크 비율 (data-ink ratio)을 높이고 불필요한 장식을 제거해야 한다고 주장해 왔다.
  • 반면 일부 실험 연구들은 장식적 요소가 기억과 회상을 오히려 향상시킬 수 있다고 보고하였다.
  • 그러나 기존 연구들은 자극 수가 적고, 실험자가 제작한 제한적인 그래프를 사용하며, 이해도, 회상, 통찰을 혼합 측정하는 등 방법론적 한계를 지닌다.

• 저자들은 해당 논쟁에서, “어떤 시각화가 더 기억에 남는가?”라는 질문을 제기한다.

  • 본 연구는 이해도 (comprehension)나 효과성 (effectiveness)을 직접 평가하지 않고, 시각화를 하나의 이미지로 간주하여, 그것이 지니는 고유한 기억 가능성을 측정한다.
  • 기존 이미지 연구에서 밝혀진 바와 같이, 일부 이미지는 개인차와 무관하게 일관되게 더 잘 기억된다.
    → 저자들은 이러한 특성이 데이터 시각화에도 존재하는지,
    존재한다면 어떤 시각적 요인이 이를 설명하는지를 밝히고자 한다.

---

💡 Related Work

• 관련 연구는 주로 세 영역으로 구성된다.

• 그래프 지각과 chart junk

  • 최근 들어 시각화에서의 부가적인 수식 방식이 기억이나 내용 이해에 미치는 영향을 탐구하는 연구가
    점차 증가하고 있다.

  • Bateman 등은 꾸며진 시각화와 그렇지 않은 시각화를 비교하는 실험을 진행하여 부가적인 수식이
    그래프의 이해 및 회상에 미치는 영향을 탐구하고, 이러한 장식이 회상을 향상시킬 수 있다고 보고했다.

  • 또한 일부 연구는 “desirable difficulty” 가설 즉, 인지적 어려움이 오히려 학습을 촉진할 수 있다는 점을 제시했다.

    이러한 연구는 제한적인 자극과 소규모 실험에 기반한다는 한계를 지니며,
    본 연구와 같이 현실에 존재하는 다양한 스펙트럼의 시각화가 '기억 가능성'에 단독으로 미치는 영향을 탐구한 연구는 아직 존재하지 않는다.

• 기존의 시각화 분류 체계

  • 기존 분류 체계는 통계 그래프를 하나로 묶거나, 텍스트, 매트릭스, 네트워크 등 다양한 현대적 유형을 충분히 포괄하지 못한다.

  • 그에 따라 본 연구는 실제 웹에서 발견되는 다양한 시각화를 포괄하는 새로운 taxonomy가 필요하다고 주장한다.

    • 본 연구는 통계 그래프를 시각적 인코딩 방식이나 이를 통해 수행할 수 있는 기초적인 인지 과제 등을
      기준으로 더욱 세분화한다.

• 인지심리학분야에서도 시각적 요소과 기억에 관련된 연구가 진행되어왔다.

  • Isola 등은 자연 이미지의 기억 가능성이 관찰자 간 높은 상관을 보인다는 사실을 밝혔으며,
    주요 특징들을 추출하여 기억 가능성에 미치는 시각적 요소들을 골라내었다.
    해당 연구는 일상적인 사진에 한해, 특징적인 레이아웃이나 미적인 요소가 높은 기억 가능성과 크게
    연관되지 않음을 밝히기도 하였다.
  • 본 연구는 이러한 실험 설계를 인공적인 이미지인 시각화에 적용한다는 점에서 학제적 의의를 가진다.

---

💡 Visualization Taxonomy

• 연구의 기초 단계로, 본 연구는 정적 (static) 시각화를 위한 새로운 taxonomy를 제안한다.
  

• 해당 taxonomy는 데이터 구조, 시각 인코딩 방식, 지원하는 지각 과제를 기반으로 구성되며,
  12개의 주요 카테고리를 포함한다:

  Area, Bar, Circle, Diagram, Distribution, Grid & Matrix, Line, Map, Point, Table, Text,
  Trees & Networks

• 각 카테고리는 다시 세부 유형으로 나뉜다 (예: Bar는 grouped, stacked, circular 등).

• 또한 모든 카테고리에 적용할 수 잇는 부가적인 시각적 인코딩 방식을 시각적 속성 (property)라 정의한다.

  • 여기에는 차원 (2D/3D), multiplicity (single, grouped, multi-panel 등), pictorial 여부, time series 여부가 포함된다.

• 기억 분석을 위해 정의된 시각적 속성은 다음과 같다:

  • 흑백 여부 (black & white)
  • 색상 수 (number of distinct colors) : 1, 2–6, 7 이상
  • data-ink ratio (좋음/중간/나쁨)
  • visual density(낮음/중간/높음)
  • 인간이 인식 가능한 객체 포함 여부
  • 인물 포함 여부 : 사진에서의 인물의 존재 유무가 기억 가능성에 큰 영향을 미친다는 선행 연구를 기반으로 정의되었다.
    → 해당 속성들은 이후 실험 분석의 독립 변수로 사용되며, 데이터 인코딩 방식과는 무관한 주관적인 척도다.

---

💡 Data Collection and Annotation

• 저자들은 웹에서 총 5,693개의 실제 시각화를 수집했다.
• 자료의 출처는 정부 / 국제기구, 뉴스 미디어, 인포그래픽 플랫폼 (Visual.ly), 과학 저널 (Nature)이다.
  • 이 중 single-panel 정적 시각화 총 2,070개를 선별하였다.
• 각 시각화는 Harvard 학부생 10명이 taxonomy에 따라 분류하고, pictorial 요소 여부를 주석 처리하였다.

• 출처별 분포를 분석한 결과, 과학 저널은 diagram과 line / point plot을 많이 사용하고,
  인포그래픽은 diagram과 table을 많이 포함하며, 뉴스와 정부 자료는 bar / line / map과 같은
  전통적 시각화 유형을 주로 사용한다.
  

---

💡 Analysis of Visualization Types

• 수집한 2,070개의 single, static visualization을 기반으로, 실제 출판 환경에서 어떤 유형의 시각화가
  어떻게 사용되고 있는지를 분석하였다.

• 먼저 저자들은 출처별 (single vs multiple panel) 비율을 살펴본다.

  • 과학 논문과 인포그래픽은 multi-panel 시각화 비율이 높았다.
    → 이는 복합적인 서사 전달이나 개념 설명을 위해 여러 시각화를 하나의 그림에 결합하는 전략에 의한 것이라 해석된다.
    • 특히 과학 저널에서는 페이지 제한으로 인해 여러 그래프를 하나로 묶는 관행도 작용한다.
  • 반면 정부 보고서는 single-panel 시각화 비율이 매우 높았다.
    → 이는 보고서 구조상 개별 그래프를 순차적으로 제시하는 방식이 사용되기 때문이라 해석된다.

• single-panel 시각화만을 대상으로 12개 taxonomy 카테고리의 분포를 분석한다.

  • 과학 저널은 diagram 비율이 매우 높았다. (여기에는 개념 설명용 도식, 3D 렌더링 등이 포함된다.)
    또한 line graph, point plot 등 전통적 인코딩도 자주 사용된다.
    • grid/matrix (예: heatmap)나 trees/networks (예: 계통도)는 거의 과학 출판물에서만 나타났다.
      
      
  • 인포그래픽 역시 diagram 비율이 높았으며, 특히 flow chart, timeline, 설명용 도식이 많이 사용되었다.
    또한 장식된 table과 ranking list가 많았다.
    그에 반해 line graph의 사용은 상대적으로 적었다.
    
    
  • 뉴스와 정부 자료는 bar chart, line graph, map 등 전통적 차트 유형을 주로 사용하였다.
    특히 뉴스 미디어에서는 시계열 line graph가 많이 나타났으며,
    정부 보고서는 pie chart (원형 그래프) 사용 비율이 뉴스보다 높았다.

• 흥미로운 지점은 text 시각화 방식이 거의 등장하지 않았다는 점이다.
  → 이는 텍스트 기반 데이터가 해당 출처들의 주요 관심사가 아니기 때문이거나,
  텍스트 시각화가 아직 주류 디자인이 아니기 때문이라 해석할 수 있다.

---

💡 Memorability Experiment

• 저자들은 총 7개의 가설을 제시한다. 이 가설들은 대부분 직관적 기대와 기존 문헌에 기반한다.

  H1: 시각화는 자연 이미지보다 덜 기억될 것이다.
  H2: Pictogram이 포함된 시각화가 더 잘 기억될 것이다.
  H3: 색이 많을수록 더 잘 기억될 것이다.
  H4: Visual density가 낮을수록 더 잘 기억될 것이다.
  H5: data-ink ratio가 좋을수록 (미니멀할수록) 더 잘 기억될 것이다.
  H6: 친숙한 기본 그래프 유형이 더 잘 기억될 것이다.
  H7: 과학 출판물의 시각화는 덜 기억될 것이다.

• 2,070개 single-panel 시각화 중 총 410개를 타겟 이미지로 선택했다.
  이 410개는 다음 기준을 만족하도록 선정되었다.

  • 출처 분포가 전체 데이터셋과 유사하도록 구성

  • visualization category 분포가 전체와 유사하도록 구성

  • data-ink ratio 스펙트럼 (좋음 / 중간 / 나쁨)을 균형 있게 포함

    • 145개는 “good” data-ink ratio (미니멀)
      103개는 “bad” data-ink ratio (chart junk)
      162개는 중간 수준

  • 시각적 속성 평가는 3명의 visualization 연구자가 독립적으로 평가했고, 불일치 시 토론을 통해 합의했다.

• 실험은 Amazon Mechanical Turk에서 진행되었으며, 총 261명의 참가자가 참여하였다.

  • 참가자는 이미지 스트림을 보다가 이전에 본 이미지를 다시 인지하면 키를 누르는 게임을 수행하였다.
  • 이미지는 1초간 제시되고, 1.4초 간격이 주어졌다.
  • 반복 이미지는 91–109개 간격을 두고 다시 등장하였다.
  • 품질 통제를 위해 vigilance repeats를 포함하였으며, false alarm 비율이 높은 참가자는 차단되었다.

    ✏️ Vigilance Repeats ?
    실험 참가자가 실제로 과제에 집중하고 있는지를 확인하기 위한 주의력 검사용 반복 자극이다.
    주의력을 검사하기 위해 의도적으로 쉽게 만든 반복 자극이라고 볼 수 있으며,
    본 연구에서는 한 이미지가 1–7개의 간격만 두고 다시 등장하여 바로 직전에 봤던 이미지에
    가깝게 반복되며, 따라서 타겟 이미지에 비해 매우 쉽게 감지 가능하도록 설계되었음을 알 수 있다.

  • 각 이미지당 평균 87개의 응답이 수집되었다.

• 기억 측정 지표는 다음과 같다:

  • Hit Rate (HR): 반복 이미지 탐지 비율
  • False Alarm Rate (FAR): 처음 본 이미지를 오인 반응한 비율
  • d-prime: Z(HR) − Z(FAR)
    : d-prime은 신호 탐지 이론에 기반한 민감도 지표이며, 기억 가능성의 정규화된 점수로 사용되었다.
  • 이후 각 시각적 속성과 d′의 관계를 통계적으로 분석하였다.
    pictogram 효과를 통제하기 위해, pictogram을 제거한 조건에서도 동일 분석을 반복했다.

---

💡 Experimental Results and Discussion

• 전체 평균 HR은 55.36%, FAR은 13.17%였다. 이는 자연 장면 이미지에서의 값(HR 약 67.5%)보다 낮았다.
  그에 따라 H1 (시각화는 자연 이미지보다 덜 기억될 것이다)은 부분적으로 지지된다.
  

• 참가자를 두 그룹으로 무작위 분할한 뒤 d′ 상관을 계산한 결과, Spearman 상관은 약 0.81이었다.
  → 이는 기억 가능성이 개인차가 아니라 이미지 고유 속성임을 강하게 시사한다.
  

• Pictograms
  Pictogram 포함 시 평균 d′ = 1.93, 미포함 시 평균 d′ = 1.14
  → 이는 H2 (pictogram이 포함된 시각화가 더 잘 기억될 것이다)를 지지한다.
  
  

• Color
  7개 이상 색상 > 2–6색 > 1색의 결과는 pictogram 제거 후에도 유의미했다.
  → 이는 H3 (색이 많을수록 더 잘 기억될 것이다)을 지지한다.
  
  

• Visual Density
  높은 density (M=1.83) > 낮은 density (M=1.28)
  → 이는 H4 (Visual density가 낮을수록 더 잘 기억될 것이다)를 기각한다.
  
  

• Data-Ink Ratio
  “Bad” (M=1.81) > “Good” (M=1.23)
  → 이는 H5 (data-ink ratio가 좋을수록 (미니멀할수록) 더 잘 기억될 것이다)를 기각한다.
  즉, 미니멀리즘이 반드시 기억 가능성을 높이지 않음을 보여준다.
  
  

✏️ 정리하자면,
기억 가능성은 pictogram을 포함하고, 더 많은 색상, 더 낮은 data-to-ink ratio, 더 높은 visual density 등을 가진 시각화와 높은 상관 관계를 이룬다.

• 가장 기억 잘 되는 유형으로는 Grid & Matrix, Trees & Networks, Diagram 등이 있으며,
  그에 반해 기억 가능성이 가장 낮은 유형으로는 Line, Bar, Table 등이 있다.
  → 이는 H6 (친숙한 기본 그래프 유형이 더 잘 기억될 것이다)을 기각하며, 친숙함보다는 독특함이 더 중요할 수 있음을 시사한다.
  저자들은 이를 범주 간섭 이론으로 설명하여, bar chart와 line graph는 서로 유사하여 혼동 가능성이 높다 (FAR 증가)는 점 또한 강조한다.
  

• Infographic (M≈1.99) > Scientific (≈1.48) > News > Government (≈0.86)의 결과는
  H7 (과학 출판물의 시각화는 덜 기억될 것이다)을 기각한다.

  • Infographic이 높은 이유는 디자인 다양성과 주목 전략 때문으로 해석되며,
  • Government 자료는 일관된 스타일로 인해 독특함이 덜 작용할 가능성이 있다.
    

• 다음은 각각의 시각화 소스에 해당하는, 가장 잘 기억되는 Top 10의 시각화 자료를 제시한 그림이다.

  • 왼쪽 위는 infographics, 오른쪽 위는 과학 출판물, 왼쪽 아래는 뉴스 미디어, 오른쪽 아래는
    정부 및 세계 기관의 자료에서 비롯되었다.
  • 각각의 사분면에서는 왼쪽 위의 자료가 가장 잘 기억되며, 오른쪽 아래로 갈수록 기억 가능성이 감소한다.

✏️ 실험 내용을 종합적으로 해석하자면 다음과 같다 :

• 기억 가능성은 시각화의 고유한 특질이며, 색, pictorial 요소, 시각적 복잡성은 기억 가능성을 향상시킨다.
• 전통적 차트 유형은 간섭 효과로 인해 덜 기억된다.
• 기억 가능성은 내용 이해도와는 다르게 측정된다.

---

💡 Conclusions and Future Work

• 실험 결과, 시각화의 기억 가능성은 사람들 사이에서 높은 일관성을 보인다.
  → 이는 자연 장면 이미지를 대상으로 한 연구에서 발견된 현상과 유사하며, 기억 가능성이 이미지의 내재적 특성일 가능성을 시사한다.
  다시 말해, 어떤 시각화가 여타의 시각화에 비해 '본질적으로' 더 기억에 잘 남는다.
  

• 더불어, 기억 가능성에 영향을 미치는 구체적인 시각적 요인들이 확인되었다.

  • pictogram이나 인간이 인식 가능한 객체의 존재는 매우 강한 효과를 보였다.
  • 시각화는 사용된 색상 수가 많고 visual density가 높으며, data-ink ratio가 낮을 경우
    (즉, chart junk가 많을 경우), 더 높은 기억 가능성을 보였다.
    이는 미니멀리즘이 항상 기억 측면에서 유리하지 않음을 의미한다.
    

• 시각화 유형과 출처에 따른 차이도 분명했다.

  • grid / matrix, trees / networks, diagram과 같이 상대적으로 독특한 유형이 bar, line, table보다 더 잘 기억되었다.
  • 또한 인포그래픽에서의 시각화가 가장 높은 기억 가능성을 보였다.
    → 이는 디자인 전략과 미적 다양성이 기억에 영향을 줄 수 있음을 시사한다.
    

• 그러나 저자들은 본 연구가 어디까지나 시각화를 이미지로서 측정한 기억 가능성 연구라는 점을 분명히 한다.

  • 본 실험은 이해도나 정보 전달의 정확성을 측정하지 않았다.
    따라서 높은 기억 가능성이 곧 높은 이해도를 의미한다고 결론지을 수는 없다.
    기억과 이해의 관계는 향후 연구 과제로 남는다.

• 또한 연구는 정적 (static) 시각화에만 초점을 맞추었으며, 인터랙티브 시각화, 애니메이션, 사용자 과업 등의 맥락은 고려되지 않았다.
  향후 연구에서는 이러한 요소들이 기억 가능성에 어떤 영향을 미치는지 탐구할 필요가 있다.

• 더 나아가 저자들은 기억 가능성을 예측할 수 있는 계산적 모델 (computational model)을 개발하는 방향도 제안한다.

  • 자연 이미지 분야에서처럼, 시각적 특징을 기반으로 기억 가능성을 예측할 수 있다면 이는 시각화 설계 단계에서 실질적인 도구가 될 수 있다.

✏️ 결론적으로 ..
본 연구는 chart junk 논쟁을 단순히 찬반의 문제로 다루지 않고,
기억 가능성이라는 측정 가능한 인지 지표를 통한 시각화 설계를 재조명한다.
기억 가능성은 시각화 효과성의 전부는 아니지만 그 일부를 구성하는 중요한 차원이며,
이를 체계적으로 측정한 첫 대규모 연구라는 점에서 본 논문의 의의를 찾을 수 있다.

---

💭 My thoughts

• 저의 연구와도 밀접한 관련이 있는 주제인 만큼 시각화, 이미지, 웹페이지 등에 대한 사용자의 인지와 주관적인 인상을 측정하는 연구들을 줄곧 살펴보았습니다. 대부분의 경우, 이러한 연구들은 통제된 실험을 진행하고 search time, 퀴즈 정확도 등의 정량적인 척도를 사용합니다. 본 연구에서 memorability라는 종속 변인을 정의하고, 이 외의 다른 confounding factor가 없도록 (즉 측정 및 분석이 용이하도록) 실험을 설계한 점이 흥미로웠습니다. 그러한 맥락에서 <실험이 어떻게 설계되었는지>가 해당 논문의 살펴볼 만한 지점이었던 것 같습니다.

• 저에게는 개인의 상황, 지식, 맥락 등과 무관하게 '본질적으로' 더 기억에 용이한 시각화가 있다는 사실이 가장 흥미로운 finding이었습니다 ! 본 논문에서도 제안되었듯, 이러한 사실에 기반하여 시각화 자체의 특질들을 적절한 feature로 추출해낼 수 있다면 이후 특정 시각화를 평가, 수정할 수 있는 정량화된 척도가 마련될 것이라 생각했습니다. 나아가, 이러한 feature들을 활용한 실질적인 예측 모델링과 피드백 인터페이스를 구현하는 것 또한 하나의 연구 방향이 될 수 있을 것이라 생각합니다.