[Paper Review] GistVis: Automatic Generation of Word-scale Visualizations from Data-rich Documents

📍 GistVis: Automatic Generation of Word-scale Visualizations from Data-rich Documents

https://dl.acm.org/doi/10.1145/3706598.3713881

---

💡 INTRODUCTION

• 데이터 기반 문서 (data-rich documents)는 과학 논문, 뉴스 기사 등에서 숫자 정보를 포함한 문서를 통칭한다.
• 기존 시각화 방식은 외부 데이터나 정형 테이블 기반의 시각화에 집중했으며, 텍스트 내 내포된 데이터 인사이트를 자동으로 시각화하는 방식은 부족했다.
• 본 연구는 "문서 중심의 분석 (document-centric analysis)"을 지원하기 위한 단어 수준의 시각화 자동 생성 파이프라인을 제안한다.

  ❗️word-scale visualization이란 ?
  텍스트 크기의 작은 시각화로, 데이터에서 비롯된 통찰을 설명과 인접하게 (in-situ) 전달하는 데 사용된다.
  이는 기존 문서 형식에 매끄럽게 통합되어 독서 과정에 최소한의 변형을 가한다.
  Sparklines, word-scale data visualization, text-sized typography, text-sized graphics 등을 포괄하는 개념이다.

---

💡 SURVEY ON DATA-RICH DOCUMENTS

• 데이터 문서 코퍼스 분석 -44개의 뉴스 기사 분석 (정치, 사회, 문화 등)
  • 자주 등장하는 데이터 팩트 유형 8가지를 선정하여 시각화 대상으로 한정한다.

    📍 8가지 데이터 팩트 유형
    
    1) Value (값) : 특정 기준에 따라 검색된 문장의 하나 이상의 수치 값 - 32.23%의 빈도
    예 : “Sources report that almost 10 million migrants have crossed into the country.”
    
    2) Trend (추세) : 시간 경과에 따른 데이터 속성의 일반적인 경향 - 17.34%의 빈도
    예 : “In the last quarter of 2023, EV sales were up 40% from the same quarter a year before.”
    
    3) Comparison (비교) : 공통된 분류 기준에 따라 2개 이상의 엔티티 간의 값 차이 측정 - 16.72%의 빈도
    예 : “EVs create 3,932 pounds of carbon per year, compared to 11,435 for gas-powered vehicles.”
    
    4) Proportion (비율) : 하나 이상의 속성이 전체 합계에서 차지하는 비율 - 15.07%의 빈도
    예 : “Around 60% of Mexico is experiencing moderate to exceptional drought.”
    
    5) Extreme (극단) : 특정 속성의 최대 또는 최소 값 - 8.46%의 빈도
    예 : “The highest mountain in the world is Mount Chumolongma at 8848 meters.”
    
    6) Rank (순위) : 특정 분류 기준에 따른 순서 또는 정렬된 시퀀스 - 3.61%의 빈도
    예 : "This figure means the province contributed the second-highest GDP in China in 2023 only following South China’s Guangdong Province with 13.57 trillion yuan.”
    
    7) Distribution (분포) : 특정 분석에 대해 공유된 수치 - 3.61%의 빈도
    예 : “Monocrystalline silicon production increased by 31.6 percent, photovoltaic cell production increased by 45.6 percent, NEV increased by 46.3, and wind power generator increased by 66.4 percent.”
    
    8) Categorical (범주형) : 특정 공동 특성을 가진 데이터들의 속성 - 1.96%의 빈도
    예 : “The employment gains were concentrated in only three sectors: health care, leisure and hospitality, and government.”
    

  • 대부분의 데이터 팩트는 한 문장 또는 인접 문장 내에 존재하며, 복합 인사이트(2개 이상 동시 표현)의 경우 초기 시스템에서는 제외된다.
    
    
• 디자인 제약 (Design Constraints)
  • C1 : 등장 빈도가 높은 팩트 유형에 대한 시각화만을 제공한다.
  • C2 : 데이터 팩트가 하나의 단위 세그먼트 내에서 추출될 수 있는 시나리오와 호환되도록 설계한다.
  • C3 : 복합 인사이트는 동시에 처리하지 않고, 하나의 데이터 팩트 유형만을 표시하도록 설계한다.
    
    
• 디자인 목표 (Design Goals)
  • DG1 : 일반 텍스트와 데이터 인사이트를 모두 인코딩할 수 있는 균일한 데이터 구조를 설정한다.
    → 하나의 단위 세그먼트에서 단어 규모의 시각화가 생성되도록 한다.
    
  • DG2 : 모듈형 설계 원칙을 적용한다.
    → 자동 시각화 생성 프로세스에 추상화를 제공하여 각 처리 모듈의 플러그 앤 플레이 속성을 지원한다.
    
  • DG3 : 인터랙티브 문서 중심 분석을 지원하는 재사용 가능하고 표현력 있는 시각화 구성 요소를 설계한다.

---

💡 GISTVIS

구성 요소

• GistVis는 텍스트를 시각화로 변환하는 과정을 4가지 모듈로 분해한다.
• 앞의 세 모듈은 대규모 언어모델 (LLM)을 활용하고, 마지막 모듈은 시각화 디자인 지식을 기반으로 한다.

• 🔍 Discoverer (M1)
  • 텍스트 문단을 단위 세그먼트(unit segment)로 분할한다.

    단위 세그먼트의 정의
    : 하나 또는 여러 문장이 함께 하나의 데이터 통찰력을 전달하거나 의미론적으로 유사한 경우로 정의한다.
    각 세그먼트는 하나의 데이터 통찰력을 일관되게 전달하는 가장 짧은 문장 또는 문장 모음이다.

  • LLM 기반 세분화로, zero-shot을 활용하여 작업을 수행한다.

• ✍️ Annotator (M2)

  • 각 단위를 6가지 데이터 팩트 유형 중 하나로 분류한다. 해당 과정은 두 단계의 질문-답변 문제로 구성된다.
  • Type Checker은 주어진 단위가 특정 데이터 팩트 유형에 속하는지를 True / False로 판단한다.
    → Type Moderator는 Type Checker의 출력을 바탕으로 해당 단위에 가장 적합한 단일 데이터 팩트 유형을 결정한다.
    📍 해당 방식은 입력 길이를 제한하고, 과도한 길이의 프롬프트가 추론 능력에 잠재적으로 해를 끼치는 것을 방지한다.

• 🔬 Extractor (M3)

  • Annotator 모듈에서 생성된 데이터 팩트 유형을 기반으로 데이터 사양 (data specifications)을 추출한다.
  • 이때 LLM을 사용할 경우, 정규 표현식으로는 실패할 수 있는, <비수치적인 표현 (예 : 10'만') 내의 숫자 변환> 등이 가능하다. 이는 더욱 확장된 데이터 추출을 가능하게 한다.

• 📊 Visualizer (M4)

  • 추출된 데이터 팩트를 바탕으로 단어 수준의 시각화(막대, 선, 아이콘 등)를 생성한다.
  • 차트 기반의 접근 방식을 사용하여 막대 차트, 선 차트, 아이콘 배열 등 3가지 기본 차트 유형과 그 변형을 활용한다. 디자인 공간에는 총 14가지의 시각화 후보가 포함되어 있다.
  • 각 차트는 문장 내 위치에 삽입되며, 마우스 hover 시 툴팁을 제공하는 등 텍스트-차트 상호작용 과정을 지원한다.

• 시각화 구성 요소
  

  • 표에 나타난 바와 같이, 14종의 시각화 구성요소를 (예: stacked bar, icon array, line chart 등) 구현한다.
  • 시각화는 문장 내부 단어 수준에서 inline에 삽입한다.
  • 사용자 상호작용: 시각화 → 관련 텍스트 하이라이트, 텍스트 → 관련 시각화 강조, 마우스 hover 시 상세 정보 툴팁 제공 등의 기능을 지원한다.

• GistVis는 웹 스택을 사용하여 구현되었으며, UI 프레임워크로는 React, 시각화 렌더링에 D3.js를 사용한다. LLM으로는 DeepSeek-V2.5를 사용한다.

---

💡 EVALUATION

① Discoverer Evaluation

• LLM 기반 문장 세분화 성능을 평가한다.

• 주어진 단락을 단위 세그먼트로 분할하는 작업에서, 다른 방법인 Regex, BERT, Sentence-BERT보다 높은 정확도인 68.6%을 보인다.
  

• 처리 시간은 단락당 평균 5.22초, 단어당 0.12초가 소요된다.

② Annotator Evaluation

• 전반적인 정확도는 0.79로 비교적 높은 성능을 보인다. 다만, 순위, 비율, 극단 유형은 값 유형으로 오분류되는 경향이 있다. 더불어, 순위는 종종 차이, 극단, 또는 '유형 없음'으로 오분류된다.

• 2단계 구조 (Type Checker + Type Moderator)가 단일 단계 (Type Moderator 단독)보다 값, 추세 유형 분류에서 월등히 우수한 정밀도를 보인다.
  

• 왼쪽 행렬(A)은 2단계 구조의 결과를, 오른쪽 행렬(B)은 단일 단계 조건의 결과를 나타냅니다. 가로축은 예측된 유형을 나타내고 세로축은 실제 유형을 나타낸다. 대각선에 있는 숫자는 각 카테고리에 대한 분류의 정밀도를 보여준다.
  → 2단계 구조가 더 작은 결정 공간과 각 유형별 맞춤형 프롬프트 설계의 이점을 제공한다.

---

💡 USER STUDY

진행 과정

• 12명의 참가자를 대상으로 사용자 연구를 진행하였다. (N=12)
• GistVis 조건과 baseline으로 일반 텍스트(Plain Text) 조건을 설정하여 둘을 비교하였다.
  
• 사용자 연구에서 사용한 인터페이스다.
  • 문서는 왼쪽의 문서 패널에 렌더링되어 있으며, 가운데에는 참가자들이 객관식 또는 요약 질문에 답하는 질문 패널이 있다.
  • 오른쪽은 시간 및 제어 패널로, 참가자들이 제출 버튼을 클릭하면 문서의 해당 부분에 대한 완료 시간을 기록한다.

① Utility (효용성)

• 진행 과정 :
  • 참가자들은 총 6개의 텍스트 기사에서 30개의 질문(24개의 객관식 질문과 6개의 요약 질문)에 답하도록 요청받았다.
  • GistVis 조건과 일반 텍스트(Plain Text) 조건을 번갈아 가며 경험하였고, 각 조건당 3개의 기사에서 작업을 수행하였다.
  • 데이터 분석 능력을 테스트하기 위해 4개의 객관식 질문이 제시되었고, 참가자들의 답변 정확도가 계산되었다.
  • 워드-스케일 시각화 방문 빈도와 체류 시간 등 상호작용 로그도 수집되어 시각화가 답변에 도움이 되었는지 방해되었는지 분석하는 데 사용되었다.
    
    
• 결과 :

  • 정확도 : GistVis 조건(평균 0.924)이 Plain Text 조건(평균 0.868)보다 높은 정확도를 보이는 경향이 있었다. 특히, GistVis는 더 높은 최소 정확도 (0.75)를 보였으며, 더 많은 참가자가 만점을 달성하였다.
    

  • GistVis와 일반 텍스트 조건에서 두 가지 유틸리티 지표에 대한 사용자 성능 비교를 시각화한 자료다. 그래프의 각 산점은 한 참가자의 개별 기록을 나타내며, 값들은 빨간색(낮음)에서 파란색(높음)으로 발산하는 색상 체계로 매핑된다.

  • 상호작용 로그 : 사용자 로그 시각화 결과, 참가자의 81%가 정답을 포함하는 단어 스케일 시각화 주변에서 상호작용 (방문 횟수, 체류 시간 등)이 가장 많았다.
    → GistVis 시각화가 데이터 검색에 도움이 되었음을 시사한다.

    

  • 6개의 테스트 지문에 걸쳐 12명의 참가자 모두가 수집한 상호작용 로그다.

  • x축은 발생 순서에 따른 시각화를 보여주며, 노란색 선은 각 시각화에서 소요된 시간을, 파란색 선은 시각화를 방문한 횟수, 마지막으로 투명한 빨간색 괄호는 시각화 중 객관식 질문에 대한 정답이 포함된 경우를 나타낸다.

② User Perception (사용자 인식)

• 작업 수행 시 마지막 두 기사에서 각 조건(GistVis 및 Plain Text)에 대해 NASA-TLX 테스트가 두 차례 진행되어 사용자의 작업 부하를 측정하였다.
• 작업 부하(NASA-TLX): GistVis는 Plain Text 조건에 비해 유의미하게 적은 정신적 요구를 기록했으며, 인지적 노력 또한 유의미하게 감소시켰다. 스트레스도 일부 감소하는 경향을 보였다.

  ❗️ NASA-TLX란 ?
  작업, 시스템의 효율성이나 그것이 주는 인지적 부하를 평가하기 위한 척도다.
  여러 주관적 하위 척도로 분류되며, 사용자에게 설문의 형태로 제시되어 정량적인 평가를 진행한다.
  1) 정신적 수요
  : 얼마나 많은 정신적, 지각적 활동이 필요했는지와 작업의 난이도, 복잡도 등을 질의한다.
  2) 물리적 수요
  : 신체 활동은 얼마나 필요했는지와 작업의 물리적 난이도, 강도 등을 질의한다.
  3) 시간적 수요
  : 작업이나 작업 요소가 진행되는 속도와 그로 인한 시간적 압박감을 질의한다.
  4) 자신의 성과
  : 본 시스템을 통해 작업을 얼마나 성공적으로 수행했는지와 그 결과에 대한 만족도를 질의한다.
  5) 노력
  : 성과 수준을 달성하기 위해 투자한 정신적, 육체적인 노력에 관해 질의한다.
  6) 좌절 수준
  : 작업중 느꼈던 좌절 등의 부정적인 감정과 만족감 등의 긍정적인 감정에 관해 질의한다.

• NASA-TLX 지표를 통해 GistVis와 일반 텍스트 간의 인지된 작업량을 비교한 결과다. 그래프의 각 산점은 한 참가자의 개별 기록을 나타내며, 값들은 빨간색(낮음)에서 파란색(높음)으로 발산하는 색상 체계로 매핑된다.

• 인터뷰 결과 :

  • 8명의 참가자가 개체와 숫자를 강조하는 기능이 정보 추출 및 특정 데이터 탐색에 유용하다고 언급하였다.

  • 7명의 참가자가 GistVis가 긴 데이터가 풍부한 텍스트를 읽는 데 특히 효과적이며, 문서의 가독성을 높이고 정신적 부담을 줄여준다고 평가하였다.

    • P10 (참여자 10)은 기존 차트가 있는 논문에서도 GistVis가 문서의 인상을 강화하고 차트 이해도를 높이는 데 도움이 된다고 언급하였다.

  • 순위, 비율, 추세 시각화는 직관적이고 이해하기 쉽지만, 비교와 순위를 모두 막대 차트로 표현한 것은 시각적인 구별을 어렵게 한다는 의견도 존재하였다. 더불어, 동일한 개체에 대해서는 일관된 색상 매핑이 이루어져야 한다는 제안도 있었다.

---

💡 CONCLUSION

• GistVis는 LLM과 시각화 지식을 결합하여 단어 수준 시각화를 자동 생성하는 파이프라인으로, 이는 데이터가 풍부한 문서에서 이해도를 높이고 작업 부하를 줄여주는 데 효과적임이 입증되었다.
• 향후 연구로는, Eye-tracking 등을 통해 사용자의 응시 패턴을 분석하여 효과적인 시각화 요소를 파악하거나, 사전에 설정한 디자인 제약 조건을 완화하는 등의 노력이 필요하다.
• 또한, 더 크고 신뢰할 수 있는 데이터셋을 구축하여 알고리즘을 개선하고, 더 많은 차트 유형 및 아이콘을 활용하여 확장된 디자인 공간을 구축해야 한다.

---

💡 MY THOUGHTS

• 최근 들어 텍스트 사이에 글의 접근성을 높이고 독자의 몰입을 돕는 요소를 추가하는, 일종의 문서 수식 방식이 자주 사용되는 것 같습니다. (특히 논문들에서요 !) 이에 따라 "과연 현재 진행된 연구들에서 규정하는 문서 수식의 범위는 어디까지일까" 라는 궁금증에서 비롯하여, 'word-scale visualization'에 대한 논문을 찾아보게 되었습니다. '문제 정의' 자체에 초점을 맞추다 보니, 논문 내용만큼이나 연구의 흐름에 집중하여 논문을 읽어볼 수 있었고, 그 과정에서 흥미로운 지점을 다수 발견하였습니다. 코퍼스 분석을 통해 가능한 디자인의 영역을 규정하고, 디자인 제약 및 디자인 목표를 세분화하여 정의한 점과 (논문 작성 과정에서도 이 부분에 힘을 많이 실었다는 인상을 받았습니다) 각 모듈에 대한 기술적 평가와 사용자 연구를 모두 진행하여 결론을 도출한 점 등이 인상 깊었습니다.
  아직 관련하여 진행된 연구가 많지 않거나, 구체적인 정의나 범위가 규정되지 않은 상태에서 연구를 진행할 경우 사전에 고려해야 할 사항이 무엇인지, 평가 및 확장 가능성에 대한 고려가 얼마나 철저히 이루어져야 하는지 등을 다시금 생각해볼 수 있었고, 여러 의미에서 연구의 방향성을 잡는 데 많은 도움을 받을 수 있었습니다 :)
  
  
• 번외로, 시각화 분야의 논문인 만큼 결과 시각화에 정말 많은 공을 들였다는 생각이 들었는데요, 이를 함께 공유하면 좋을 것 같아 본 글에도 거의 모든 시각화 자료들을 함께 제시하였습니다. 단순 글로 기술할 수 있는 상호작용 로그나 NASA-TLX 결과 등도 모두 시각화한 점이 인상 깊었고, 이 모든 자료들이 논문의 결론 도출 과정에 설명력을 더했다는 느낌이 들었습니다 !