[Paper Review] Intra, Extra, Read all about it! How Readers Interpret Visualizations with Intra- and Extratextual Information

📍 Intra, Extra, Read all about it! How Readers Interpret Visualizations with Intra- and Extratextual Information

https://dl.acm.org/doi/10.1145/3706598.3713612

---

💡 Summary

• 독자들은 특정 시각화를 해석할 때 intratextual 정보 (시각화에서 직접적으로 제공하는 정보)와 extratextual (시각화에는 드러나지 않지만 독자가 아는 정보) 정보를 모두 활용한다는 사실은 자명하다.
• 그러나 이때 어떤 종류의 intratextual, extratextual 정보를 활용하는지, 혹은 의미를 형성하는 데 이를 어떻게 적용하는지에 대한 지식은 불충분하다.
  
  
• 이를 위해 본 연구는 4가지의 시각화 사례에 대한 반구조화된 인터뷰를 진행하고 thematic analysis와 diffractive reading 기법을 통해 연구 질문에 답하고자 한다.
• 그 결과, 참여자들은 시각화를 해석하는 과정에서 예상치 못한 정보 소스를 활용하거나, 3가지 양상의 정보 통합 방식을 보이는 등 다양한 행동 양식을 보여준다.

---

💡 Introduction & Background

• 연구의 개요 및 목적

  • 시각화의 해석은 단순히 디자인이나 데이터의 내용에만 의존하지 않으며, 시각화에 직접 표현된 정보인 Intratextual 정보와, 독자가 가진 외부 정보인 Extratextual 정보의 결합으로 형성된다.

  • 기존 연구들은 개인의 신념이나 지식이 해석에 영향을 미친다는 점은 인지하였으나, 독자가 구체적으로 어떤 종류의 정보를 사용하고, 이를 어떻게 통합하여 의미를 만드는지를 명확히 밝히지는 못했다.

  • 이에 따라 본 연구는, 텍스트 분석에서 사용하는 내부 / 외부 정보 프레임을 빌려와 시각화 해석 과정을 체계적으로 분석한다.

• 텍스트 내 정보 : Intratextual 정보라고도 하여, 데이터 자체와 인코딩 방식 (색상, 제목, 주석 등)이 해석에 미치는 영향을 검토한다.

• 텍스트 외 정보 : Extratextual 정보라고도 하여, 시각화 유형에 대한 해독 능력, 데이터 세트에 대한 사전 지식 (data haunches 등), 독자가 기대하는 결과 (사전 신념 등)이 해석에 어떻게 작용하는지를 설명한다.

• 더불어, 내부와 외부 정보의 결합이 때로는 도움을 주지만, 때로는 시각화가 지원하지 않는 결론으로 비약하게 만드는 등 부정적인 영향을 미치기도 한다.

---

💡 Methodology

• 참가자는 미국 대학생 6명을 대상으로 하며, 심층 인터뷰를 진행한다.
  
  • 연구 목적 상, 표본의 일반화보다는 특정 집단의 깊이 있는 참여 양상을 살피기 위해 연령과 교육 경험이 비교적 유사한 집단을 선택한다.
  • 참가자 전원은 컴퓨터 과학, 신경 과학, 환경 과학 등의 전공자였으며, 대다수가 대학 수업을 통해 시각화 자료를 접하거나 제작해본 경험이 있었다.
    
    
• 현실 세계에서 사용되는 4가지 시각화 사례 (졸업 후 진로, 세계의 언어, 유명인의 루틴, 노벨상 수상자 통계)를 사용한다.
  
  • 졸업 후 진로 : 참가자들이 재학 중인 대학 졸업생의 6개월 후 취업 및 진로 현황을 보여주는 자료다.
  • 세계의 언어 : 5천만 명 이상의 모국어 사용자를 가진 언어들과 그 분포를 나타낸 원형 영역 차트다.
  • 유명인의 루틴 : 유명인 15인의 24시간 일과를 색상으로 구분된 시계 형태의 아크로 표현한 자료다.
  • 노벨상 수상자 통계 : 노벨상 수상자의 인구통계학적 정보를 복합적인 차트 (선, 막대, 산키 다이어그램 등)로 시각화한 자료다.

• 광범위한 패턴을 찾기 위한 주제 분석 (= Thematic Analysis)와 개별 독자의 미묘한 해석 방식을 포착하기 위한 회절적 읽기 (= Diffractive Reading)을 병행한다.

  • 참가자에게 크게 인쇄된 시각화 자료를 보여주고, 충분히 살펴볼 수 있도록 한다.

  • 참가자는 'Think aloud' 방식 (생각을 소리 내어 말하도록 지시하는 방식)이나, 조용히 읽은 후 대화하는 방식 중 하나를 선택해 자신의 초기 생각을 공유한다.

  • 모든 시각화에 대해서는 공통적으로 다음 3가지 질문을 던진다 :
    

    1) 이 시각화는 무엇에 관한 내용인가 ?
    2) 제작자가 이 자료를 통해 특정 메시지를 전달하려 한다고 생각하는가 ? 만약 그렇다면, 그 메시지는 무엇인가 ?
    3) 시각화에서 특별히 흥미롭거나 놀라운 부분이 있는가 ? 만약 있다면, 무엇인가 ?

  • 참가자의 답변을 명확히 하고, 그들이 언급한 내용이 시각화 내부에서 온 것인지 (Intratextual), 아니면 기존 지식에서 온 것인지 (Extratextual)를 심층적으로 파악하기 위해 추가 질문을 제시한다.

  • 주제 분석에서는 참가자들이 언급한 지식의 유형을 분류한다.
    '내부 정보'와 '외부 정보'라는 상위 테마를 먼저 설정하고, 실제 데이터에서 나타난 패턴에 따라 하위 코드를 생성하는 bottom-up 방식과 top-down 방식을 사용한다.

  • 회절적 읽기란 일종의 페미니즘적, 질적 분석 기법으로, 광범위한 주제에 묻히기 쉬운 세부적인 차이나 참가자만의 독특한 해석 서사를 포착하기 위해 활용된다.
    → 내부 정보와 외부 정보가 구체적으로 어떤 방식으로 결합하는지를 분석할 수 있다.

---

💡 What Kinds of Information Did Participants Use ?

📑 텍스트 내 정보 (Intratextual)

• 독자들은 주로 세부 수치보다는 전체적인 특징에 주목한다.

• 독자들은 시각화에서 제공하는 구체적인 수치 (encoded value)나 계산된 값 (derived value)보다는 변수 (variable)와 비교 (comparison) 같은 정보에 더 많이 의존한다.

• 특정 변수에 집중하고 다른 변수들은 무시하는 경향을 보이기도 한다.

  • 예를 들어, 노벨상 차트에서 '학위' 정보는 거의 언급하지 않고, '소속 대학' 이나 '성별' 등에만 집중한다.

• 비교의 경우, "X가 Y보다 많다"와 같은 추세나 차이를 파악하는 데 내부 정보를 주로 사용한다.

🔍 지배적 외부 정보 (Extratextual - Dominant)

• 공식 교육을 통해 얻은 지식을 지배적으로 사용한다.

• 일반 상식 (General Knowledge) : 가장 빈번하게 사용된 외부 정보로, "브라질은 포르투갈의 식민지였다"와 같이 널리 알려진 사실들을 포함한다.

• 통계 및 시각화 원칙 : 데이터 과학이나 통계 수업에서 학습한 지식을 활용해 시각화를 비판적으로 바라보거나 (파이 차트와의 비교), 이상치를 식별한다.

  참가자 Noor은 구두로 다음과 같은 설명을 덧붙였다.
  "It's definitely way more interesting than normal pie charts ... The pie chart is definitely more direct ... But for this, the longer time you look at it, the more information you can get from it by your own anlysis. But for pie charts, they're all there, you can just read it."

• 역사 및 지리적 지식 : 유명인의 일과를 해석하는 경우에 역사적 배경을 활용하거나, 노벨상 수상자의 고향 데이터 등 지리적인 지식을 결합한다.

🔍 비지배적 외부 정보 (Extratextual - Non-Dominant)

• 개인적인 경험과 정체성과 관련한 지식을 사용한다.

• 삶의 경험 : 졸업 후 진로 시각화에서 자신의 인턴십이나 구직 경험을 투영하는 등 개인적인 삶의 궤적을 해석에 활용한다.

• 사회적 통념 : "일과 삶의 균형이 중요하다" 등의 사회적 믿음을 바탕으로 데이터를 해석한다.

• 개인적 정체성 : 자신이 STEM 전공 여성임을 인지하여 노벨상 수상자의 성별 불균형에 집중하거나 자신의 모국어를 차트에서 먼저 찾는 등의 행동을 보인다.

• 더불어 지배적 외부 정보인 일반 상식과 통념을 결합하여 특정 사안을 해석하는 모습을 보이기도 한다.

  참가자 Orla는 구두로 다음과 같은 설명을 덧붙였다.
  "When you look at Charles Darwin's - he seems to have been doing a lot. I think that's interesting because he studied human evolution, right ? So he probably knew what he was doing ... People usually say we should have a little bit of everything ... And people are always saying you can't do a long stretch of something. You have to take breaks in between and you have to do other things."

• 4개의 시각화에 해당하는 각 코드의 분포는 다음과 같다.
  

---

💡 How Did Readers Integrate Intra- and Extratextual Information ?

• 연구진은 회절적 읽기 분석을 통해 독자들이 내부 정보와 외부 정보를 결합하여 의미를 형성하는 세 가지 서사(Narratives)를 발견한다.

📍 강조하기 (Highlighting)

• 독자들은 자신의 정체성이나 경험을 가이드 삼아, 시각화 디자인 상에서 크게 강조되지 않는 내부 요소를 중심적으로 살핀다.
• 예를 들어, 노벨상 차트에서 성별은 작은 점으로만 표시되어 시각적 비중이 낮았음에도 불구하고, 참가자들은 자신의 성별 정체성 때문에 이를 가장 중요한 요소로 꼽기도 한다.
  • 유사하게, 세계의 언어와 관련한 시각화에서는 자신의 모국어를 가장 먼저 살피게 된다고 언급하기도 한다.

📍 건너뛰기 (Skipping)

• 독자들은 때로 외부 정보를 활용해 시각화의 내용을 깊게 읽지 않고, 추측으로 대체하는 일종의 '지름길' 전략을 사용한다.
• 제목과 몇가지 키워드만 보고도 전체 맥락을 빠르게 파악해 효율적인 해석이 가능하기도 한 반면,
• 시각화가 실제로 보여주지 않는 내용을 알고 있다고 착각하는 현상이 나타나기도 한다.
  예를 들어, 노벨상 차트의 '수상 당시 소속 대학' 정보를 '출신 대학'으로 잘못 가정하고 읽는 오류가 반복되었다.

📍 깊이 읽기 (Reading Deeper)

• 가장 고차원적인 단계로, 시각화에 명시적으로 인코딩된 데이터 이상의 통찰을 끌어내는 방식이다.
• 예를 들어, 언어 분포 데이터를 보고 단순한 수치 비교를 넘어 '영국과 포르투갈의 식민지 역사'가 반영된 결과임을 읽어내거나, 시각화 제작 주체에 대한 신뢰도를 바탕으로 데이터의 신뢰성을 비판적으로 검토했다.

---

💡 Discussion & Conclusion

• 본 연구에서 관찰된 텍스트 내 정보 (Intratextual) 의 활용 양상은 텍스트 요소 참조, 값 추출 등 기존의 시각화 이해 모델과 일치하는 지점이 많다.
• 다만 텍스트 외 정보 (Extratextual)의 경우, 통계적 원칙이나 삶의 경험 외에는 기존 연구와의 유사점을 찾기 어려울 정도로 그 범위가 방대하다.
• 독자가 사용하는 정보의 범위는 매우 복잡하며, 어떤 정보를 아는 것보다 특정 상황에서 어떤 정보가 돌출(Salience)되어 사용되느냐는 고도로 맥락 의존적이다.
• 개인적 정체성, 체득된 경험 등 간과하기 쉬운 비지배적 지식 (Non-dominant epistemologies)이 시각화 해석에서 매우 유효하고 빈번하게 사용된다는 점은 시각화 설계자가 독자의 배경지식을 고려할 때 반드시 주목해야 할 지점이다.

• 내부 정보와 외부 정보의 결합은 효율적인 독해를 돕기도 하지만 동시에 위험 요소가 되기도 한다.
• 외부 정보는 독자가 생소한 시각화에서 이해를 돕는 가이드의 역할을 수행하기도 하지만, 때로는 부정확한 가정을 하게 만들어 독자로 하여금 시각적 신기루 (Visual Mirages) 현상에 빠지게 한다.
• 그럼에도 불구하고, 이러한 정보의 통합은 데이터가 명시적으로 보여주는 것 이상의 이해와 통찰을 얻기 위한 필수적인 과정이 될 수 있다.
• 어떤 데이터는 시각화 자체에 포함되지 않은 도메인 지식 없이는 해석이 불가능할 정도로 외부 정보와의 결합이 핵심적인 역할을 한다.

• 본 연구의 참가자들은 19-21세의 STEM 전공 대학생들이며, 이들의 시각화 해석 양상이 생애 주기와 교육 배경을 반영할 가능성이 크다.
• 그에 따라 개인적 경험을 렌즈 삼아 데이터를 보는 경향이 강하게 나타날 수 있으며, STEM 교육 과정에서 중시하는 지배적 지식(통계 원칙 등)이나 시각화에 대한 익숙함이 그들의 해석 전략을 형성할 수 있다.
• 그럼에도 본 연구는 독자가 내부와 외부 정보를 흥미로운 방식으로 통합한다는 사실을 입증하는 '존재 증명'으로서의 가치를 지닌다.
  
  

✏️ 결론적으로 ..
본 연구는 주제 분석과 회절적 읽기라는 2가지 질적 분석 기법을 통해 독자가 시각화를 해석하는 과정을 분석한다.
그 결과, 독자들은 지배적 지식과 비지배적 지식을 아우르는 방대한 정보를 형성하며, 이를 통해 무엇에 집중할지 결정하고, (부)정확한 가정을 세우며, 데이터 너머의 메시지를 읽어낸다.

→ 본 연구는 시각화 해석이 단순히 그래픽을 해독하는 기술적 과정이 아니라, 독자의 삶과 지식이 데이터와 상호작용하며 의미를 창조하는 복합적인 과정임을 시사한다.

---

💭 My thoughts

• 가장 전통적인 질적 분석 방법인 인터뷰를 통한 thematic analysis 과정을 체계적으로 살펴볼 수 있었습니다. 이러한 질적인 연구는 다수의 데이터를 축적하거나 변인을 통제하기 어렵기 때문에 비교적 '객관적'이라고 알려져 있는 시선 추적이나 수치 측정 등의 방법을 통해 특정 자극에 대한 사람들의 인지 과정을 분석하곤 합니다. 따라서 시선 추적 데이터를 바탕으로 사람들이 '중요하다고 생각하는' 자극의 위치를 모델링하거나, 특정 인지적 기준을 대체할 만한 라벨이 포함된 데이터를 분석 대상으로 삼기도 합니다. (예시로, "Predicting and Explaining Mobile UI Tappability with Vision Modeling and Saliency Analysis" 에서는 사용자가 인지하는 UI 요소들의 'tappability'를 모델링하기 위해 다량으로 라벨링된 데이터를 사용하기도 하였습니다 !)
  논문에서도 언급하였듯 해당 연구는 연령과 전공이 통제된 소수의 참가자만을 대상으로 진행되었기에, 독자의 시각화 해석 방식에 대한 인사이트 도출과 일종의 '존재 증명'에 그친다는 한계를 지닙니다. 그럼에도 이러한 연구가 이루어지는 것은, 다량으로 수집된 데이터가 가진 수많은 노이즈나, 통제되지 않은 요인에서 오는 여러 해석 가능성을, 연구자의 손으로 어느정도 완화할 수 있기 때문인 것 같습니다. 또한, 이러한 방법론은 설문 과정에서 follow-up 질문을 하는 등의 과정이 용이하기 때문에, 소수의 참여자라 하더라도 많은 인사이트를 뽑아낼 수 있습니다. 이에 그치지 않고, 합의 가능한 기준을 갖추기 위한 coding을 진행하여 공통된 행동 패턴이나 보편화된 가치를 끌어낼 수도 있다는 점이, thematic analysis가 가진 연구 측면의 가장 큰 의의라고 생각합니다.