[Paper Review] Exploring the Placement and Design of Word-Scale Visualizations

📍 Exploring the Placement and Design of Word-Scale Visualizations

https://ieeexplore.ieee.org/document/6875917

✏️ 본 논문은 앞서 작성한 "[Paper Review] GistVis: Automatic Generation of Word-scale Visualizations from Data-rich Documents"에서 다룬 word-scale visualization (단어 수준 시각화)를 개념적인 차원에서 탐구한 글이다.
✏️ 이를 활용하거나 생성하는 시스템에 대한 공부를 이어가기 전, 관련 개념 및 범주를 확실히 이해하는 것이 필요하다고 판단되어 본 논문을 찾아 읽게 되었다.

---

💡 INTRODUCTION

• 텍스트 문서 내의 word-scale visualization의 사용과 배치에 대한 탐색 및 디자인 공간을 제시한다.
• Word-scale visualization이란 Edward Tufte가 제시한 sparklines에서 그 범위를 더 확장한 버전이다.
  • Sparkline보다 넓은 범위의 시각화를 허용하고, 이를 '단어 크기'에 제한하지 않는다. 또한 sparkline은 선 기반의 데이터 인코딩을 (e.g. line chart) 암시적으로 의미하는 반면, 본 연구는 지도, 히트맵, 원형 차트 등 다양한 인코딩을 허용한다.

❗️ Sparkline이란 ?
작은 단어 크기의 데이터 그래픽으로, 문서 텍스트 내의 메타 정보를 시각적으로 표시하며, 주로 줄 단위에서 in-line으로 제시된다.

• Word-scale visualization을 임베딩하는 것은 읽기 작업에서 주의를 분산시키지 않고 문맥 내에 추가 정보를 제공할 수 있는 유망한 문서 수식 방식이다.
• 본 논문은 sparkline의 전통적인 배치 외의 대체 배치 옵션을 설명한다.
  • 배치 옵션을 위한 디자인 공간을 제시하며, 그래픽 배치 및 원본 텍스트의 방해 수준을 제어하는 6가지 중요한 변수를 식별한다.
  • 다양한 배치가 가독성 및 텍스트 방해의 측면에서 가지는 영향을 정량적으로 분석한다.
  • 해당 분석은 word-scale visualization의 디자인 및 배치를 지원하는 하나의 가이드라인을 제공한다.

---

💡 A DESIGN SPACE FOR WORD-SCALE VISUALIZATIONS

• 본 연구의 디자인 공간은 word-scale visualization의 디자인과 텍스트 레이아웃에 가해지는 제약 조건을 설명한다.
  
  

Word-scale visualization

• 엄격한 '단어 크기' 요구 사항을 완화하고, 더 넓은 범위의 시각화를 포괄한다.
• 일반적으로 글자 크기보다 크지만 문장이나 단락보다 작다.
• 기존의 줄 사이 (inter-line) 공간이나 단어 사이 (inter-word) 공간만을 활용하지 않고, 텍스트와 겹치거나 텍스트 레이아웃을 변경하여 추가 공간을 도입하기도 한다.

  ❗️ 이해를 위해 타 논문에서 간단한 예시를 가져오자면 ..
  Word-scale visualization은 다음과 같은 word-scale graphics 중에서도 문서 내 데이터를 기반으로 시각화된 사례들을 의미한다.
  출처 : "An Exploratory Study of Word-Scale Graphics in Data-Rich Text Documents"

정적 통합 vs. 동적 통합

• Word-scale visualization을 텍스트 문서에 배치하는 2가지 기본 옵션은 정적 통합 (static integration)과 동적 통합 (dynamic integration)이다.

• 정적 통합 : 시각화가 텍스트 내에 항상 존재한다.

  • 장점 : 인쇄 매체에 적합하고, 사용자가 시각화를 비교하기 수월하다.
  • 단점 : 많은 수의 시각화가 텍스트 읽기를 압도하거나 방해할 수 있다.

• 동적 통합 : 사용자의 입력에 따라 시각화가 표시된다. 예를 들어, 사용자가 개체 위에 마우스 커서를 올리면 작은 시각화가 나타나거나, 상호작용을 통해 문서의 모든 시각화를 동시에 표시 / 숨길 수 있다.

  • 장점 : 텍스트가 복잡해지지 않아, 시각화의 방해 없이 독해가 가능하다.
  • 단점 : 인터랙티브 환경이 필요하고, 따라서 인쇄 매체에는 적합하지 않다. 시각화를 개별적으로 표시하면 비교가 더 어려워지며, 배치 옵션에 따라 텍스트 재배열이 필요할 수 있다.

배치 맥락
본 연구는 텍스트 내의 word-scale visualization의 문맥적 통합과 관련한 3가지 주요 배치 옵션을 정의한다.
이때 맥락은 개체의 경계 상자와 관련 시각화의 경계 상자 간의 관계를 기반으로 정의한다.

• 강한 맥락 (Strong context) : 개체와 시각화의 경계 상자가 닿거나 겹친다.

  • 주로 단어 바로 위나 옆에 배치되는 경우

• 약한 맥락 (Weak context) : 두 경계 상자가 닿지는 않지만, 시각화의 위치가 여전히 텍스트 내 개체의 위치에 의해 정의된다.

  • 시각화가 개체와 같은 일반 텍스트 영역에 존재하지만 서로 닿지는 않는 경우 등

• 맥락 외부 (Out-of-context) : 시각화 위치가 개체 위치가 관련이 없다.

  • 시각화가 텍스트 여백 어딘가에 배치되는 경우 등

✏️ 그중 본 논문이 다루는 디자인 공간은 강한 맥락의 시각화에 초점을 맞춘다.

디자인 공간 차원
디자인 공간의 차원은 크게 2가지 범주로 나눌 수 있다.

• Word-scale visualization에 영향을 미치는 차원
• 텍스트에 영향을 미치는 차원

📍 Word-scale visualization에 영향을 미치는 차원

1. 시각화 최대 높이에 대한 제어 : 시각화의 높이는 수직 차원에 인코딩된 정보의 양과 밀접하게 연관되어 있다.
   시각화 높이가 글꼴 높이나 줄 사이 간격과 같은 텍스트 속성에 본질적으로 묶여있는 경우와 이에서 자유로운 경우에 따라 디자이너의 선택의 폭이 달라질 수 있다.
   
2. 시각화 최대 너비에 대한 제어 : 시각화의 너비는 수평 차원에 인코딩된 정보의 양과 밀접하게 연관되어 있다.
   
3. 시각화 위치 : 시각화의 위치는 시각화 경계 상자의 참조점 (reference point)에 의해 정의된다. 본 논문은 3가지 주요 위치에 초점을 맞춘다.
   
   • 기준선 위치 (baseline position) : 개체 경계 상자의 왼쪽 하단 모서리
   • 상단 위치 (top position) : 개체 경계 상자의 왼쪽 상단 모서리
   • 오른쪽 위치 (right position) : 개체 경계 상자의 오른쪽 하단 모서리
     
     
4. 시각적 인코딩 : 인코딩 방식 (예 : 선형 차트, 막대 차트 등) 의 선택은 주어진 가로 세로 비율 내에서 잠재적으로 인코딩될 수 있는 정보의 양에 영향을 미친다.
   
   

📍 텍스트에 영향을 미치는 차원

1. 도입되는 단어 사이 간격의 양 : 특정 시각화 너비가 주어졌을 때, 디자이너는 시각화와 텍스트 간의 겹침 정도를 제어하기 위해 개체 앞이나 뒤에 추가적으로 단어 간 간격을 도입할 수 있다.
   

2. 도입되는 줄 사이 간격의 양 : 특정 시각화 높이가 주어졌을 때 디자이너는 시각화와 텍스트 간의 겹침 정도를 제어하기 위해 개체 위나 아래에 추가적으로 줄 간 간격을 도입할 수 있다.
   

---

💡 WORD-SCALE VISUALIZATION PLACEMENT IN PRACTICE

word-scale visualization을 배치할 때 디자이너는 문서, 시각화, 데이터 및 사용 시나리오의 특성에 따라 여러 문제에 직면할 수 있다.

✏️ 이때, 디자이너가 던질 수 있는 주요 질문들은 다음과 같다.

• 텍스트는 정적인가, 재배열이 가능한가 ?
• 줄 사이 간격 수정이 가능한가 ?
• 시각화를 텍스트와 함께 읽어야 하는가 ?
• 시각화의 크기와 치수가 가독성에 얼마나 중요한가 ?
• 데이터에 적합한 시각적 인코딩 방식이 있는가 ?

→ 이러한 질문에 대한 답변은 문서의 크기와 레이아웃, 텍스트 및 시각화의 가독성에 영향을 미친다.

본 논문은 이러한 디자인 결정의 영향과 상호작용을 설명하기 위해 7가지 일반적인 배치 옵션을 기술한다.

• Case 1) 전통적인 인라인 배치 : 개체 앞이나 뒤에 단어 사이 간격 (inter-word spacing)을 늘려 시각화를 삽입한다.
  • 시각화 너비는 제어가 가능하지만, 최대 높이가 글꼴 높이와 줄 간 간격으로 제한된다.
    → 텍스트 재배열이 필요할 수 있으며, 동적 표시 시 레이아웃 변경이 필요하다.
    
    
• Case 2) 개체 위에 오버레이 : 시각화를 개체 바로 앞이나 뒤에 겹쳐서 그린다.
  • 추가 공백이 없어 텍스트 레이아웃에 영향을 미치지 않지만, 시각화의 너비와 높이가 개체와 글꼴 높이, 줄 간격에 제한된다.
  • 겹침이 발생함에 따라 상호작용이 필요할 수 있다. (예 : 마우스 hover 시 투명도 증가 등)
    
    
• Case 3) 기존 줄 간 간격 사용 : 시각화를 기존의 줄 간 간격 (inter-line space) 내에 배치하고 개체와 동일한 너비를 가지도록 한다.
  • 레이아웃 변경이나 충돌을 피하고 시각적인 비교를 용이하게 하지만, 시각화 높이가 기존 줄 사이 간격으로 제한되어 충분히 넓은 간격의 문서나 매우 압축된 시각적 인코딩 방식에만 적합하다.
    
    
• Case 4) 줄 간 간격 사용 및 단어 사이 공간 증강 : 고정 너비 시각화를 기존 줄 간 간격에 배치하고, 충돌을 피하기 위해 단어 간 간격을 늘린다. 텍스트 재배열을 필요로 한다.
  
  
• Case 5) 줄 간 간격 및 단어 사이 공간 증강 : 앞선 케이스를 확장하여, 선택한 높이의 시각화를 수용하기 위해 추가적으로 줄 간 공간을 삽입한다.
  • 이는 디자이너에게 시각화의 너비와 높이에 대한 완전한 제어권을 제공한다.
  • 그러나 패딩을 도입하면 줄 간 텍스트 재배열이 필요하며 이에 따라 문서의 길이가 크게 늘어날 수 있다.
    
    
• Case 6) 시각화 간 겹침 허용 : 앞선 경우들과는 달리 시각화 간의 겹침을 허용한다.
  • 텍스트에 개체가 드물게 있는 경우에는 적합하지만, 가까이 있는 짧은 개체들 사이에서는 시각화의 충돌이 발생할 수 있다.
  • 충돌을 해결하기 위해서는 상호작용이 필요할 수 있다.
    
    
• Case 7) 주변 텍스트와 시각화 겹침 허용 : 시각화가 주변 텍스트와 겹치는 것을 허용한다.
  • 일부 시각화가 주변 텍스트뿐만 아니라 다른 시각화와도 충돌할 수 있으며, 모호성을 해결하기 위해서는 상호작용이 필요할 수 있다.
  • 이 옵션은 워드 스케일 시각화가 더 큰 높이와 너비가 필요하며 다른 시각화 기법이 불가능할 때 주로 사용된다.

---

💡 WORD-SCALE VISUALIZATION PLACEMENT EXAMPLES

다음은 word-scale visualization의 몇가지 예시다.

🔍 1) 제 1차 세계 대전 유물의 스캔된 전사본 일부

• 배치 방식 : 모든 단어가 개체가 되었으며 OCR이 반환한 불확실성에 따라 개체 위해 색상 코딩된 사각형 경계 상자 오버레이한다. 마우스가 개체 위를 hover할 때 , 줄 사이 공간에 작은 막대 차트 📊가 그려지며 각 막대는 대체 가능한 번역을 보여준다.
• 시각화 유형 : 색상 경계 상자는 매우 단순한 시각화로, 개체의 너비와 높이에 맞추어 기준선 위치에 배치된다. 이는 앞서 설명한 <개체 위에 오버레이> 및 <줄 간 간격 사용> 방식에 해당한다.
  
  

🔍 2) 다른 페이지로의 링크 위에 시각화가 추가된 위키피디아 기사
❗️ Information Scent : 정보원의 가치, 비용 또는 접근 경로에 대한 시청자의 (불완전한) 인식을 근접 단서 (proximal cues)로부터 얻는 것

• Word-scale visualization은 시청자가 탐색 또는 읽기 경로를 계속할 가치가 있는지 결정하는 데 도움을 줄 수 있는 근접 단서를 제시하는 데 사용될 수 있다.
• 배치 방식 : 각 링크는 수평 막대 시각화와 짝을 이루는 개체가 되며, 막대의 길이는 링크된 페이지의 방문 횟수를 나타낸다. 시각화 아래에는 더 작은 회색 기준선이 그려져 비교를 돕는다.
• 시각화 방식 : 시각화의 높이는 줄 사이 공간의 높이와 같게 설정되었고, 모든 시각화의 너비는 텍스트 내 모든 개체의 평균 길이로 고정된다.
  시각적 혼란을 줄이고 워드 스케일 시각화가 아래 개체와 연결되도록 약간의 줄 사이 공간을 추가한다.
  시각화 간 겹침을 피하기 위해 시각화 길이가 개체 길이보다 길 때 단어 사이 간격을 추가한다.
  
  ❓ 이 위치를 선택한 이유는 : 텍스트에 많은 개체가 포함되어 있어 전통적인 단어 사이 공간 배치가 읽기를 방해하고 많은 연속적인 단어를 멀리 떨어지게 할 수 있기 때문이다.
  
  

🔍 3) 러시아와 우크라이나 간의 크림 분쟁에 관한 뉴스 기사

• 기사 내에서 국가 및 지역 이름이 개체로 표시된다.
• 배치 방식 : 이 개체에 대한 시각화는 단어 오른쪽에 배치된 작은 지리 지도다. 이 지도 시각화는 국가와 지역을 문맥에 배치하는 데 도움이 되는 위치 정보를 제공한다.
  독자가 더 작은 지도에서 국가를 인식하지 못하거나, 더 많은 세부 정보를 원하면 시각화 위에 마우스를 올려 더 큰 버전의 지도와 추가 정보를 함께 볼 수 있다.
• 시각화 방식 : <전통적인 인라인 배치> 방식의 변형을 택한다. 단어 사이 간격을 도입하고 각 시각화를 단어에 수직으로 중앙에 오도록 기준선 위치보다 약간 아래에 배치한다.
  → 시각화가 줄 사이 공간의 절반 이상으로 확장되지 않는 한 주변 시각화 간의 겹침을 피할 수 있다.

---

💡 EVALUATION

Word-scale visualization을 텍스트 문서에 통합하는 결정은 2가지 주요 영향을 미친다.

1) 텍스트 레이아웃 및 시각화 디자인을 제약한다.
2) 문서 전체의 가독성 및 이해도에 영향을 미친다.

→ 본 연구는 주로 다양한 워드 스케일 시각화 배치 옵션이 문서의 크기와 레이아웃을 어떻게 변경하는지를 탐구하고자 한다.

• NLTK의 ABC 뉴스 코퍼스에서 무작위로 15개의 뉴스 기사를 선택하였다.

• 각 기사의 여러 버전을 생성하여 다양한 수의 개체를 포함하도록 하였다.
  → 최종적으로 15 × 7 = 105개의 기사를 생성하였다.

• HTML 문서 세트를 사용하여 다음 5가지 요인을 변화시키면서 시각화 배치 옵션을 분석하였다.

  • 시각화 위치: 오른쪽 / 상단 / 기준선
  • 시각화 너비: 개체 길이 / 가장 짧은 길이 / 가장 긴 길이
  • 시각화 높이: 단어 높이 / 2.5 × 단어 높이
  • 줄 간격: 한 줄 간격 / 두 줄 간격
  • 간격 조정: 없음 / 줄 사이 / 단어 사이 / 둘 다
    → 총 144가지 디자인 대안을 생성하였다.

• 문서의 크기와 가독성에 미치는 영향을 정량화하기 위해 다음 4가지 지표를 계산하였다.

  • 문서 영역의 변화 : 시각화 삽입, 패딩, 재배열(필요시) 후 문서 총 영역의 증가율을 원본 영역의 백분율로 나타낸다.
  • 텍스트/시각화 겹침량 : 문서 내 텍스트 표면 영역 중 워드 스케일 시각화와 겹치는 백분율이다.
  • 시각화 겹침량 : 시각화 표면 영역 중 다른 워드 스케일 시각화와 겹치는 백분율이다.
  • 텍스트 이동 : 워드 스케일 시각화 삽입, 패딩, 재배열 후 문서 내 개별 단어의 X 및 Y 위치의 평균 변화율을 원본 문서 치수의 백분율로 나타낸다.

  → 총 144 × 105 = 15,120개의 데이터 포인트를 사용하여 배치 통계를 계산하였다.

💡 결과는 다음과 같다.

• 문서 영역 확장 : Case 5 (더 높은 워드 스케일 시각화를 수용하기 위해 수직 공간을 도입하는 방식) 이 가장 큰 문서 영역 확장을 유발한다.

  • Case 1 (수평 패딩을 추가하고 전통적으로 배치된 시각화를 추가하여 문서를 재배열)도 공간을 확장한다.
  • Case 4 (기존 줄 사이 공간에 시각화를 배치하고 더 긴 단어의 겹침을 방지하기 위해 수평 공간만 추가)는 총 영역을 적게 확장한다.

• 텍스트 이동 : Case 1, Case 4, Case 5는 모두 수평 공간을 추가하므로 엔티티 밀도가 증가함에 따라 단어의 평균 X 위치를 상당히 이동시킨다.

  • 반면, 단어 사이 또는 줄 사이 간격을 변경하지 않는 다른 네 가지 사례는 텍스트를 전혀 이동시키지 않는다.

• 겹침 정도 : Case 2, 6, 7 (시각화의 오버레이 및 겹침 허용 사례)에서는 요소 간의 충돌이 더 자주 발생한다.

  • Case 6은 인접한 시각화 간의 겹침을 허용하며, 데이터 그래픽 밀도가 높아질 때까지는 시각화 충돌이 거의 발생하지 않는다.

---

💡 CONCLUSION

• 본 논문은 word-scale visualization의 개념을 정의하고, 그 범위를 규정하였으며 이를 디자인하고 배치하기 위한 디자인 공간을 기술한다.
• 그 중에서도 특히, word-scale visualization의 배치가 시각화 디자인과 문서 레이아웃을 어떻게 제약하는지에 초점을 맞춘다.
• 7가지 일반적인 배치 선택을 논의하고 이를 다양화하는 방법을 설명하여 대체 옵션의 공간을 보여준다. 또한, 다양한 배치 옵션이 실제 적용될 수 있는 방법과 몇가지 실제 예시를 보여준다.
• 마지막으로, word-scale visualization 배치의 디자인 측면에서의 영향을 측정하기 위해 시각화 크기, 위치, 줄 높이, 간격 등 다양한 레이아웃 매개변수가 텍스트 레이아웃에 미치는 영향을 측정하는 정량적 평가를 수행한다.

---

💡 MY THOUGHTS

정적인 문서 내 수식을 넘어 동적인 상호작용을 더한 시각화 방식과 그 용례를 접해볼 수 있어 흥미로웠습니다.
동시에, 문서 수식의 범위를 규정하고 이에 영향을 미치는 요인을 여러 차원으로 범주화하여 이해하고자 한 점이 인상 깊었습니다. 수식과 텍스트, 문서 레이아웃이 상호 영향을 주는 요소인 만큼 이들 간의 관계를 분석하기 위한 틀을 잡는 게 가장 번거로웠을 것으로 보입니다.

제가 파악한 바로는..
1) 먼저 word-scale visualization의 정의를 명확히 하고, 기존 연구에서 다뤄온 문서 수식 양식과 어떻게 다른지를 규정하는 과정이 선행되었습니다. 그 과정에서 정적 통합 vs. 동적 통합, 배치 맥락 등의 요소가 동반되었습니다.
2) 이후 디자인 공간의 차원을 범주화하여 정의하였습니다. 즉, word-scale visualization을 수행하기 위해 고려해야 할 디자인적인 요소들, 제약 사항들을 기술하였습니다.
3) 이를 바탕으로 word-scale visualization의 배치를 사례별로 유형화하여 정의하였습니다. 이러한 분석 과정은 다분히 경험적 탐색에 기반한 접근을 필요로 했을 것입니다.
4) 다양한 시각화 배치 옵션이 문서의 크기와 레이아웃을 어떻게 변경하는지, 나아가 문서 가독성 및 이해도에 어떠한 영향을 미치는지를 정량적으로 분석하였습니다. 이러한 영향을 정량화하기 위해 4가지 지표를 활용하였는데, 아마 이 부분이 본 연구의 가장 큰 차별점이 아닐까 싶습니다. 다만, 어떤 척도로 이 4가지 지표를 선정하게 되었는지 & 해당 지표가 문서의 가독성 (특히 이해도)에 대해 정확히 어떤 메시지를 전달하는지에 대한 설명이 제시되지 않은 점이 다소 아쉬웠습니다.
5) 마지막으로 이 모든 분석 내용을 바탕으로 "효율적인" 문서 시각화를 위한 간단한 가이드라인을 제시하였습니다.

해당 논문을 읽으며, 본격적인 연구가 시작되는 단계에서의 개념 정의, 요소 간 관계 분석, 실험 및 페이퍼 설계가 어떻게 이루어져야 하는지에 대한 많은 인사이트를 얻을 수 있었습니다 ! 여러 개념이 나열식으로 이루어진 논문인 만큼 구조화하여 정리하는 데 다소 어려움이 있었지만, 그만큼 많은 정보를 담은 글이었다는 생각이 드네요 :)