[Paper Review] Context-Preserving Visual Links

📍 Context-Preserving Visual Links (맥락 보존 시각적링크)

https://ieeexplore.ieee.org/document/6064990

💡 Summary

[Figure 1] 정보 시각화 프레임워크에서 관련 엔티티를 연결하는 맥락 보존 시각적 링크

• 서로 관련된 정보를 평가, 비교, 해석하는 과정은 시각 데이터 분석 및 정보 집약적 작업에서 흔히 수행되는 작업이다.
• 관련 요소의 동기화된 시각적 강조(synchronized visual highlighting)는 해당 작업을 돕기 위한 기술로 널리 알려져있다.
• 이때, 관련 요소 사이에 선 연결을 렌더링하는 시각적 연결(visual linking)은 조금 더 침습적이고 표현력이 풍부한 대안적 접근 방식이다.
• 본 연구에서는 맥락 보존 시각 링크(context-preserving visual links)를 새로운 방법으로 제시한다.
  
  
  이 방법은 다음 두 가지 목표를 달성하는 것을 목표로 한다:
  1. 시각 링크가 중요한 정보의 가림(occlusion) 현상을 최소화해야 한다.
  2. 링크가 시각적 간섭을 최소화하여 주변 정보와 시각적으로 구별되어야 한다.
  → 유저 스터디의 결과는, 맥락 보존 시각 링크가 맥락 정보를 고려하지 않는 전통적인 시각 링크보다 시각적으로 더 매력적으로 인식되며, 복잡한 시각화에서 링크된 요소를 더 빠르고 만족스럽게 찾을 수 있음을 시사한다.

---

💡 INTRODUCTION

• 현대 지식 노동자의 공통적인 작업은 화면에 흩어져 있을 수 있는 관련 정보 조각을 식별하는 것이다.
  → 이때 해당 정보는 단일 뷰에 포함되거나 여러 뷰나 창에 분산될 수 있다.
• 시각화 분야에서도 여러 개의 조정된 뷰 시스템(multiple coordinated view system)이 별도의 뷰에 표시된 데이터를 연결한다.
  
  
• 기존 시스템은 사용자가 현재 선택한 요소와 관련된 항목을 시각적으로 두드러지게 하여 이러한 작업을 지원한다.
  → 이를 통해 사용자의 주의를 강조된 요소로 적극적으로 유도하고 중요한 정보와 중요하지 않은 정보를 쉽게 구별할 수 있게 한다.
  
  
• 일반적인 강조 기술로는 색상 변경, 색상 프레임 또는 배경 그리기와 같이 인간이 효율적으로 인식하는 기능들이 있다.
  : 예로 Eclipse Java IDE는 변수의 모든 발생을 강조 표시한다.
  • 전통적인 강조 기술은 인터페이스가 여러 색상으로 표시된 정보로 인해 복잡해질 경우 관심 항목을 시각적으로 구별하는 데 사용되는 색상을 인지하기 어려울 수 있다.
• 주변 정보의 변경이 너무 미묘하여 인지되지 않거나 너무 침습적이어서 맥락 정보의 가독성을 떨어뜨릴 수 있다.
• 색상이 때때로 다른 정보를 인코딩하는 시각적 변수로 사용될 수 있다.
  
  
• 최근 시각 링크(visual links)를 여러 엔티티 간의 관계를 보여주는 추가적인 시각적 단서로 사용하는 과정이 연구되어왔다.

  ❗️ 시각 링크
  연결선, 곡선 또는 표면과 같은 연속적인 형태로, 여러 관련 정보 조각을 연결하거나 둘러싸서 기본 표현(base representation)을 보강한다.

  • 기본 표현: 이미지, 시각화, 합성 표현, 다중 뷰 시스템, 다중 응용 프로그램 창 등 모든 종류의 시각적 표현이 될 수 있다.
  • 시각 링크의 한계 및 과제: 시각 링크의 사용은 추가적인 시각적 혼란(visual clutter)을 야기하여 다른 정보를 가릴 수 있다는 한계가 있다.
    → 이 문제를 완화하기 위해 번들링 전략(bundling strategies)이 전체 화면 링크 수를 줄이는 데 사용되었다.
    - 그러나 이미 존재하는 시각 정보를 고려하지 않은 번들링은 여전히 기본 콘텐츠의 가림 현상을 초래할 수 있다.
    - 따라서 기저의 정보(underlying content)를 고려한 링크의 스마트한 경로 지정은 추가 연구의 잠재적 방향으로 제시되었다.
    
    

📍 본 논문의 주요 기여

• 원본 장면의 정보를 고려하여 시각 링크의 경로를 지정하고 조정하는 기술을 제시한다.
• 이는 시각 링크를 사용할 때 중요한 정보의 가림을 최소화하고 시각 링크가 주변 기본 표현에서 눈에 띄게 만든다.
  • 이를 위해 기본 표현의 이미지 기반 평가를 수행한다.
  • 영역이 주변 이미지 영역에서 얼마나 눈에 띄는지를 측정하기 위해 시각적 현저성을 계산하는 알고리즘을 적용한다.
    • 이 측정값을 사용하여 최소한의 (지각적으로) 중요한 정보가 가려지도록 시각 링크의 경로를 지정한다.
  • 또한 링크의 가시성을 높이기 위해 시각 링크와 기본 표현 간의 시각적 구별 정도를 최적화한다.

---

💡 OVERVIEW

📍 본 연구는 시각 링크의 두 가지 주요 단점을 해결하는 것을 목표로 한다.
1) 시각 링크는 기본 표현 위에 렌더링되는 시각적으로 눈에 띄는 강조 기술이므로 중요한 콘텐츠의 가림 현상을 초래할 수 있다.
2) 둘째, 기본 표현이 시각적으로 어수선하면 시각 링크를 인지하기 어려울 수 있다.

❓ 어떻게 해결하는가

• 각 링크를 구성하고 렌더링할 때 기본 표현의 이미지 기반 설명을 고려함으로써 이러한 문제를 해결한다.

• 경로 지정 알고리즘 : 중요한 맥락 정보를 보존하기 위해 중요한 기본 표현 콘텐츠와의 겹침을 줄이는 경로 지정 알고리즘을 도입한다.

• 최적화 문제 : 시각 링크 경로 지정을 최적화 문제로 공식화하며, 다음 네 가지 최적화 기준을 충족하도록 한다.

  • O1: 시각 링크는 길이가 최소화되어 효율적으로 따라갈 수 있어야 한다.
  • O2: 기본 표현에서 가려지는 정보의 양은 최소화되어야 한다.
  • O3: 링크는 기본 표현과 시각적으로 구별되어야 한다.
  • O4: 인접한 여러 링크는 효율적으로 번들링되어야 한다.

• 다만, 이러한 기준 중 일부는 서로 간섭하기 때문에 간단한 경우에도 시각 링크에 대한 최적의 경로를 찾는 것은 어려운 작업이다.
  [Figure 2] 문맥 보존 시각 링크의 라우팅

  • Figure 2(a) 와 같이 산점도의 반대편 주변에 있는 두 개의 관련 점은 가장 짧은 링크는 산점도를 가로지르는 직선이지만, 이는 시각화의 여러 점을 가린다.
  • 반대로, Figure 2(b) 와 같이 전체 산점도 주위로 링크를 구부리면 가림은 피하지만 연결선이 길어진다.
  • 따라서 Figure 2(c) 와 같이 네 가지 최적화 기준 간의 좋은 절충점을 찾는 것이 목표로 한다.

• 최적화된 경로 지정에도 불구하고, 기본 표현에서 중요한 정보의 가림을 완전히 피하는 것이 불가능할 수 있다.
  그에 따라 ..

  1) 링크가 시각적으로 눈에 띄지 않으면 인지하기 어려울 수 있다.
  2) 가림은 기본 표현 콘텐츠의 가독성 문제를 야기한다.

• 가림을 피할 수 없는 경우, 기본 표현을 분석하고 링크의 모양을 기본 표현에 맞게 조정하거나 링크 주변의 기본 표현을 국부적으로 변조한다.

• 기본 표현의 시각적 맥락을 고려하기 위해 시각화 파이프라인의 출력인 렌더링된 이미지를 분석한다.
  → 이 이미지 기반 분석은 시각화 프레임워크, 이미지 뷰어 또는 창 관리자와 같은 다양한 응용 프로그램에서 이 기술의 유연한 사용을 가능하게 한다
  

---

💡 CONTEXT-PRESERVING LINKS ROUTING

• 맥락 보존 시각 링크의 경로 지정을 위한 최적화 기준을 충족하기 위한 단계다.

  📍 전반적인 과정은 다음과 같다.
  알고리즘은 강조 영역(emphasized items)과 기본 표현(base representation)에 대한 정보를 수집한다.
  → 이 정보는 공통 벌점 맵(penalty map)으로 병합되어 기본 표현 위에 링크 경로에 대한 통합된 이미지 기반 벌점 설명을 제공한다.
  이 벌점 맵을 기반으로, 경로 지정 알고리즘은 최소 벌점으로 가장 짧은 링크를 찾는 것을 목표로 한다.

• 입력 데이터 (Input Data)

  • 기본적인 입력 매개변수 세트 (최소한 강조 영역의 위치, 모양, 색상 및 상호 연결 방식에 대한 사양)가 필요하다.
  • 상호 연결성을 설명하기 위해 클러스터 개념을 사용한다.
    
  • 클러스터를 형성하는 여러 노드는 각 강조 영역에서 시작되는 링크를 가지며, 이 링크들은 하나의 공통 지점인 클러스터 점 $p_c$에서 만난다.
  • $p_c$의 위치는 초기에 알 수 없으므로, 최적의 위치 결정은 경로 지정 알고리즘을 통해 이루어진다.
    - 맥락 보존을 보장하기 위해서는 기본 표현, 즉 시각화 파이프라인의 출력으로 주어지는 렌더링된 이미지에 대한 설명이 추가적으로 필요하다.
    
    

• 벌점 맵 (Penalty Map)
  - 맥락 보존 시각 링크를 생성하려면 어떤 이미지 영역에 시각 링크가 포함될 수 있고 어떤 영역을 피해야 하는지에 대한 지식이 필요하다.
  - 링크가 특정 지점을 덮는 데 받을 벌점은 기본 표현 이미지 + 강조 영역 + 동시에 존재하는 링크 세트에 대한 정보를 결합하여 도출한다.
  
  

• 중요도 맵 (Importance Map)

  • 섹션 3에서 제시된 최적화 기준 O2 ("기본 표현에서 가려지는 정보의 양은 최소화되어야 한다.")를 충족하려면 기본 표현에서 픽셀별 중요도에 대한 설명이 필요하다.
  • 중요도 맵은 현저성 기반 시각 주의 모델을 사용하여 입력 이미지의 각 픽셀의 중요도를 인코딩한다.
  • 현저성 모델은 인간 시각 시스템의 생물학적 특성을 고려하며, 사용자가 특정 항목을 볼 가능성을 예측할 수 있다.
    → 주변 환경에 비해 시각적으로 두드러지는 영역에 높은 중요도를 할당하며, 배경 색상과 무관하게 작동한다. (색상 불일치, 강도 변화, 고주파 텍스처에 높은 중요도가 할당된다.)
  • 경로 지정 알고리즘에서 중요도 맵은 가림 현상 회피를 위한 기반이다.
  • 낮은 이미지 중요도(낮은 벌점)는 이 영역 위로 경로가 지정된 링크가 중요한 정보를 가리지 않음을 의미하며, 높은 중요도 값을 가진 영역을 덮는 것은 정보 가림 현상의 확률이 높음을 의미한다.
    
    

• 색상 유사성 (Color Similarity)
  [Figure 3] (a) 경로 선택을 위해 링크의 색상을 무시하면 다음과 같은 링크가 생성되어 입력 이미지와 구별하기 어려울 수 있다. (b) 링크의 색상과 로컬에 나타나는 이미지 색상 간의 유사성을 설명하는 추가 페널티가 유사한 색상의 영역을 피하기 위해 사용된다.

  • O3 ("링크는 기본 표현과 시각적으로 구별되어야 한다.")를 충족하기 위해, 링크와 기본 표현의 시각적 구별이 보장되지 않을 때 벌점 맵에 추가적인 벌점을 인코딩한다.
    - 이때는 미리 정의된 링크 색상과 해당 픽셀의 기본 표현 색상 간의 색상 유사성을 결정한다.
    - 높은 색상 유사성은 링크가 주변과 거의 구별되지 않음을 의미하며, 낮은 값은 링크와 맥락이 충분히 다름을 나타낸다.
    → 유사성이 높을수록 해당 픽셀의 벌점 맵에 추가되는 벌점이 높아진다.
    
    

• 강조 영역 (Highlight regions)

  • 지금까지 벌점 맵에서 고려된 것은 기본 표현에서 파생된 시각적 특징뿐이었다.
    ⚠️ 그러나 강조 영역 자체도 매우 중요하며 이 또한 시각 링크로 덮여서는 안 된다.
    [Figure 4] 경로 찾기 과정에서 다른 강조 영역을 고려하지 않으면 원치 않는 효과가 발생한다.
    (a) 작은 하이라이트 영역은 링크에 의해 가려져 거의 인식할 수 없다.
    (b) 가능하면 링크가 다른 하이라이트 영역을 피할 수 있도록 모든 하이라이트 영역의 흐릿한 버전을 페널티 맵에 추가한다.
    
  • 특히 Figure 4의 예시처럼 강조 영역이 작으면 링크에 가려질 때 쉽게 간과될 수 있다.
    → 따라서 모든 강조 영역의 모양을 흐리게 처리하고 높은 값으로 벌점 맵에 삽입하여 각 강조 영역 및 그 근처의 벌점을 증가시킨다.

    ❓ 흐리기 작업이 강조 영역을 두드러지게 하는 이유가 뭘까
    
    1) "모든 강조 영역의 모양을 흐리게 처리하고" : 강조 영역의 모양을 단순히 윤곽선으로 인식하는 것을 넘어, 주변 영역으로 점차 퍼지도록 흐리게 만든다.
    → 이 작업은 강조 영역 자체뿐만 아니라 그 주변 영역까지도 링크가 침범하지 않도록 경계 영역을 설정한다.
    
    2) "높은 값으로 벌점 맵에 삽입하여" : 벌점 맵은 시각적 링크가 지나갈 때 받게 되는 '패널티' 또는 '비용'을 나타내기 때문에, 흐리게 처리된 강조 영역을 링크가 지나갈 경우 매우 큰 벌점을 받도록 한다.
    
    3) "각 강조 영역 및 그 근처의 벌점을 증가시킨다" : 링크 라우팅 알고리즘이 강조 영역 자체나 그 근처를 지나가는 것을 강력히 피하도록 하여, 링크가 강조 영역을 가리거나 너무 가까이 붙어서 시각적 혼란을 주지 않도록 경로를 설정한다.

• 다중 링크 세트 (Multiple Linksets)

  • 위에서 설명한 강조 영역 회피와 유사하게, 경로 지정 알고리즘은 기존 링크 세트도 고려해야 한다.
  • 예를 들어, 두 개 이상의 세트 관계를 동시에 강조해야 하거나, 시스템이 다중 선택을 허용하는 경우 여러 링크 세트가 필요하다.
    → 이러한 세트를 완전히 독립적으로 처리하면, 다른 세트의 링크 간 다중 교차 또는 링크 경로의 부분적 겹침과 같은 간섭이 발생할 수 있다.
  • 이 문제를 피하기 위해 여러 링크 세트가 경로 지정됨에 따라 벌점 맵이 점진적으로 확장된다.
  • 우선순위가 미리 정의된 여러 링크 세트가 주어지면, 가장 높은 우선순위 세트는 모든 링크 세트의 중요도 맵, 색상 유사성, 강조 영역을 인코딩하는 벌점 맵에 따라 경로가 지정된다.
  • 모든 낮은 우선순위 세트의 경우, 이전에 생성된 세트에 대한 정보는 해당 시각적 표현을 벌점 맵에 추가함으로써 통합된다.
    [Figure 5]
    (a) 서로에 대해 전혀 알지 못하는 여러 링크 세트가 상당히 겹칠 수 있다.
    (b) 첫 번째 세트(빨간색)를 두 번째 세트(파란색)의 구성 과정에 대한 페널티가 거의 없는 인코딩으로 하면 두 세트 간의 오버랩이 줄어든다.
    (c) 페널티가 증가하면 두 번째 세트가 첫 번째 세트를 건너기 전에 더 큰 우회를 받아들이도록 강제한다.
    
    
  • 맵에서 높은 우선순위 링크 세트의 가중치를 높이면 후속 링크 세트가 기존 링크를 교차하기 전에 취할 우회 경로가 증가한다.
    
    

• 경로 지정 (Routing)

  • 경로 찾기는 링크 길이가 벌점 맵에서 파생된 링크의 누적 벌점에 대비하여 가중치가 부여되는 최적화 문제로 공식화된다.
  • 단일 클러스터를 형성하는 강조 영역 세트 Ω에 대한 비용 함수 C는 다음으로 정의된다.
    
    $C = ∑_{n∈Ω} ( α_L ∫_{R_n} dR_n + α_P ∫∫_{x∈A_n} P(x) dx )$ (1)
    
    
  • 가중치 합의 첫 번째 항은 노드 n에서 시작하여 공통 클러스터 점 $p_c$에서 끝나는 링크 경로 $R_n$의 길이를 나타낸다.
  • 두 번째 항은 링크 n에 대해 누적된 벌점을 나타내며, 벌점은 링크가 구성하는 영역 $A_n$에 대한 적분으로 형성되고 P(x)는 점 x에서의 결합 벌점 맵 항목에 해당한다.
  • 가중치 $α_L$과 $α_P$는 링크 길이(O1)와 기본 표현에 의한 벌점 양 (O2 및 O3) 사이의 균형을 제어한다.
  • $α_L$ 값을 늘리면 링크가 단단해지고, $α_P$ 값을 늘리면 링크가 더 중요한 컨텍스트 정보를 보존하도록 강제한다.
  • 후속 단계에서 경로 지정 알고리즘은 O4를 충족하기 위해 인접 링크를 병합하여 복잡한 링크 구조를 단순화한다. 이 방법은 전체 링크 길이와 덮인 벌점을 줄인다.
  • 수학적으로는 n개의 링크가 공통 경로를 공유할 때 $α_L$ 및 $α_P$를 줄임으로써 비용 감소 $α̃_i$를 설명한다.
    
    $α̃_i = ( s + \frac{1} {(n − s/(s−1))} ) · α_i$ (2)
    
    
  • 여기서 $i ∈ \{L,P\}$ 이고 $0 ≤ s < 1$로 제한되며 s는 번들링이 얼마나 적극적으로 적용되어야 하는지를 제어한다.
    

---

💡 APPEARANCE ADJUSTMENTS

• 링크가 선택된 가중치에 따라 방정식 (1)과 (2)의 관점에서 최적이라 하더라도, 이는 가림 현상을 완전히 해소하지는 않는다.
• 링크의 충분한 가시성과 배경 정보의 가독성을 보장하기 위해 시각 링크의 모양을 기본 표현에 맞게 조정한다.
  
  
• 링크 색상 선택 (Link Color Selection)
  • 링크 색상이 미리 정의된 의미를 인코딩하지 않는 경우, 색상을 조정하여 링크의 가시성을 높일 수 있다.
  • 시각적으로 쉽게 구별할 수 있는 링크 색상은 링크와 그 주변 간의 인지 가능한 색상 차이를 최대화하여 자동으로 선택된다.
  • 링크를 따라 이미지 영역의 색상 히스토그램을 생성한다. 이 히스토그램의 항목들은 링크 색상에 대한 부정적인 투표로 간주되며, 따라서 가장 적은 수의 투표를 받은 색상이 링크 색상으로 선택된다.
  • 링크 색상 선택에 대한 더 많은 제어를 허용하기 위해, 전체 색상 공간 대신 미리 정의된 색상 팔레트에 대해 투표를 적용할 수도 있다.
    
    
• 국부 색상 변조 (Local Color Modulation)
  • 전체 링크에 대한 단일 최적 색상을 결정하는 것만으로는 복잡한 배경에서 시각적으로 구별될 수 있는 링크를 만드는 데 충분하지 않을 수 있다.
  • 따라서, 링크 색상 또는 링크 근처의 기본 표현 색상을 국부적으로 변조한다.
  • 국부 색상 변조는 렌더링 중에 링크 색상과 기본 표현의 주변 색상을 색 공간에서 연결선을 따라 반대 방향으로 이동시킴으로써 적용된다.
    [Figure 6] 최적의 링크 색상이 자동으로 결정되었으며, 국부 색상 변조 과정으로 인해 링크가 시각적으로 더 뚜렷해진다.
  • Figure 6은 링크 주변이 약간 변조되어 링크에 후광과 같은 발광 효과가 나타나는 예시를 보여준다.
  • 정보 시각화에서 기본 표현의 수정은 종종 바람직하지 않으므로, 이 단계는 선택 사항이다.
    
    
• 불투명도 변조 (Opacity Modulation)
  [Figure 7] 창 시스템에서 이질적인 정보를 연결하는 여러 링크 세트. 가림 현상을 피할 수 없는 경우 링크의 불투명도가 국부적으로 감소한다는 점을 확인할 수 있다.
  
  • 링크가 주로 중요한 이미지 영역 주위로 경로가 지정되었음에도 불구하고, 텍스트나 산점도 항목의 가림을 완전히 피할 수는 없다.
  • 이 문제를 해결하고 텍스트의 가독성을 보장하기 위해 시각 링크에 추가적인 조정을 적용한다.
    • 이때 텍스트는 히스토그램 분석을 통해 입력 이미지에서 직접 식별한다. 입력 이미지는 작은 패치로 세분화되고, 모든 패치에 대해 색상 히스토그램이 계산된다.
    • 이미지 패치의 히스토그램이 이중 모드(bimodal)인 경우 (즉, 두 개의 지배적인 색상을 나타내는 경우), 패치에 텍스트가 포함되어 있고 더 눈에 띄는 색상이 배경 색상을 나타낸다고 가정한다.
      ✏️ 히스토그램 분석은 텍스트뿐만 아니라 산점도와 같이 지배적인 배경 색상과 적은 추가 정보를 보여주는 모든 영역에도 반응한다.
    • 텍스트 또는 다른 이중 모드 이미지 데이터로 식별된 이미지 패치에서, 전경 픽셀 (주로 텍스트) 근처에서 링크의 알파 값을 점진적으로 줄인다.
      → 이러한 변화는 링크가 텍스트 뒤에 렌더링되는 것처럼 보이게 한다. Figure 7의 아래쪽 삽입 그림에 예시적인 결과를 확인할 수 있다.

---

💡 APPLICATION SCENARIOS

• 이 기술은 기본 표현과 선택된 강조 영역을 입력으로 받아들이고 기본 표현 위에 링크를 렌더링한다.
  → 해당 접근 방식을 통해 다양한 응용 프로그램을 지원할 수 있다.
  
  

• 시각화 시스템 : 시각화 시스템은 단일 뷰 위에 맥락 보존 시각 링크를 적용하여 사용자의 현재 선택과 관련된 여러 요소를 시각적으로 나타낼 수 있다.

  • 예를 들어, Figure 6의 공간 채우기 트리맵(treemap)에서 사용자는 자신이 투자한 주식의 가격을 조사한다.
    
    

• 창 관리자 수준 통합: 더 일반화된 접근 방식으로는 응용 프로그램 간 시각 링크와 유사한 인프라를 활용하여 창 시스템 수준에서 맥락 보존 시각 링크를 활용할 수 있다.

  • 이러한 인프라에서 강조 영역은 여러 응용 프로그램에 걸쳐 동기화되고 중앙 관리 인스턴스에 의해 수집된다.
  • 링크는 창 관리자에 의해 데스크톱 이미지 위에 렌더링된다.
  • 전체 데스크톱의 중요도 맵은 창 관리자에서 직접 추론될 수 있으므로, 맥락 보존 시각 링크는 여러 응용 프로그램 창 또는 개별 뷰의 경계 또는 다중 뷰 응용 프로그램의 사용되지 않는 메뉴 표시줄과 같은 임의의 GUI 요소에 걸쳐 확장될 수 있다 (예) Figure 1에 표시된 Caleydo 시각화 프레임워크.
    
    

• 세트 시각화 : 이 기술은 여러 동시 시각화된 링크 세트를 지원하므로 (Figure 5 참조), 맥락 보존 개념을 세트 시각화에도 적용하여 고정된 공간 인코딩을 가진 시각화 위에 다른 항목 세트를 인코딩할 수 있다.

  • Figure 7은 여러 응용 프로그램 창에 걸쳐 다른 색상의 링크가 자동차 브랜드를 인코딩하는 예시를 보여준다.
  • 산점도는 자동차 무게와 가속도 사이의 관계를 시각화한다.
  • 맥락 보존 링크를 사용하면 다른 브랜드의 자동차 속성이 명확하게 보인다.
    오른쪽 창의 텍스트 강조 표시는 사용자가 정보를 찾는 데 도움이 된다.
    
    

    📍 한계 : 일반적인 유용성에도 불구하고, 맥락 보존 시각 링크는 모든 유형의 시각화에 적합하지는 않다.
    
    1) 경로 지정 알고리즘의 맥락 보존으로 인한 링크의 강한 곡률이 어떠한 의미로 해석될 수 있기 때문이다. 예를 들어, 지리적 위치를 불규칙하게 구부러진 링크로 인코딩하면 두 위치를 연결하는 도로 경로로 오해될 수 있다.
    
    2) 산점도에서 두 데이터 클러스터 사이에 신중하게 경로 지정된 링크는 렌더링된 데이터 포인트 간의 인식된 거리를 증가시키고 어떤 종류의 세분화를 암시할 수 있다.
    
    3) 또 다른 문제 시나리오는 VisLink 또는 Caleydo의 Bucket과 같은 3D 시각화 시스템에서 사용되는 자유 부동 뷰(free-floating views)에서 맥락 보존 링크를 사용하는 것이다.
    경로 지정 알고리즘이 출력 이미지의 2D 표현에 의존하기 때문에 맥락 보존 링크가 사용자의 깊이 인식을 방해할 수 있다.

---

💡 USER STUDY

• 복잡한 시각화에서 시각 검색을 위한 맥락 보존 시각 링크의 효과를 평가하기 위해 통제된 실험을 수행했다.

  📍 컨텍스트 보존 시각 링크를 다음 두 가지 다른 강조 기술과 비교했다:
  1) 기존의 색상 코드 또는 프레임으로 된 요소
  2) 가림 현상 회피가 없는 직선 시각 링크

• 참가자: 지역 대학에서 18명의 참가자(22세~30세, 남성 14명, 여성 4명)

• 강조 기술 (Highlighting Techniques)

  • 세 가지 다른 강조 기술을 비교했다:
    1) 강조 표시 (H): 포커스 요소 주위에 프레임을 그리거나 해당 요소를 뚜렷한 색상으로 렌더링한다. 이 널리 채택된 기술은 실험에서 기준 조건(baseline condition)으로 사용되었다.
    2) 시각 링크 (L): H 기술과 같이 강조된 요소를 시각적으로 연결하는, 경로가 지정된 직선이다. 그러나 링크 경로 지정 시 기본 표현은 고려되지 않는다.
    3) 맥락 보존 시각 링크 (CL): 최적화 기준을 충족하는 본 연구의 알고리즘을 사용한다.
    [Figure 10] 실험에서 평가된 세 가지 강조 기법: (a) 단순 강조 (H), (b) 직선 시각 링크 (L), (c) 문맥 보존 시각 링크 (CL).
  • 상단 행 이미지는 동일한 기본 표현에 적용된 세 가지 강조 기술의 예시를 보여준다.
  • 조종 연구에서 강조 영역이 주관적으로 인지하기 어렵다고 평가된 경우, 섹션 5에 설명된 모양 조정이 세 가지 기술 모두에 적용되었다.
    
    

• 작업 및 장치 (Task and Apparatus)

  • 사용자들은 수정된 시각 검색 작업을 수행하도록 요청받았다.
  • 기존 시각 검색 작업에서는 사용자가 여러 방해 요소 내에서 특정 목표 항목을 찾는다.
  • 본 실험에서는 사용자들이 위에서 설명한 강조 기술 중 하나로 시각적으로 향상된 복잡한 이미지 내에서 여러 목표를 식별해야 했다.
    ✏️ 이 작업은 여러 뷰에서 관련 요소를 스캔하거나 단일 시각화에서 현재 선택과 관련된 항목을 스캔해야 하는 지식 노동자의 일반적인 시각 검색 작업을 나타낸다.
  • 이 기술을 단일 시나리오로 제한하지 않기 위해 각 기술에 대해 16개의 다른 사용 사례 이미지를 사용자에게 제시했다. 이러한 이미지에는 산점도 행렬, 생화학 경로, 위성 이미지, 트리맵뿐만 아니라 텍스트, 이미지 및 지도를 포함하는 여러 응용 프로그램 창이 포함되었다.
  • 또한 이 이미지들에서 강조된 요소의 수는 5개에서 12개까지 변화했으며, 각각 두 번 발생했다.
  • 참가자들의 시선 움직임은 아이 트래커(eye tracker)를 사용하여 캡처되었다.
    
    
  • 각 강조 기술에 대한 맥락 보존량 : 다양한 소프트웨어 벤치마크를 사용하여 결과 이미지를 평가했다.
  • 가려진 정보의 양 : 기본 표현의 중요도 맵과 강조 표시를 포함한 결과 중요도 맵을 비교하여 측정했다.
  • 또한 Rosenholtz et al.이 도입한 두 가지 시각적 혼란 측정(특징 혼잡(feature congestion, FC) 및 서브밴드 엔트로피(sub-band entropy, SE))을 사용하여 평면 기본 표현과 비교하여 이미지의 시각적 혼란 증가 정도**를 계산했다.
    
    

• 설계 및 절차 (Design and Procedure)

  • 이 연구는 세 가지 실험 조건(강조 기술)과 각 조건에 대한 16회 반복(이미지)으로 구성된 피실험자 내 설계(within-subjects experiment)로 수행되었다.
  • 시행마다 작업 완료 시간과 정확성을 측정했다.
  • 사용자들은 키를 눌러 새 이미지를 로드하고, 모든 발생을 세는 즉시 같은 키를 다시 눌러 빈 배경이 표시되도록 요청받았다.
  • 그런 다음 사용자는 강조된 요소의 수를 실험자에게 보고했으며, 실험자는 이를 기록했다. 작업 완료 시간은 이미지가 표시된 지속 시간에 해당했다.
  • 정확성 측정으로, 보고된 숫자와 실제 강조 표시 수의 편차를 결정했다.
  • 각 조건 후에 사용자들은 7개의 질문이 포함된 설문지에서 강조 기술에 대한 주관적인 만족도를 평가하도록 요청받았다.
  • 실험 완료 후, 그들은 전반적인 선호도를 평가하고 반구조화된 인터뷰에 참여하도록 요청받았다.

• 가설 (Hypotheses)

  • [H1] 시각 링크는 기존 강조 표시보다 더 나은 성능을 보인다.

    • 연결성이 강력한 시각적 변수이므로 시각 링크가 기존 강조 표시보다 성능이 우수할 것으로 예상한다.

  • [H2] 맥락 보존 시각 링크는 성능에 부정적인 영향을 미치지 않는다.

    • 시각 링크의 맥락 보존은 더 길고 복잡한 모양의 링크를 초래한다.
    • 가림 회피로 인한 배경 정보로부터의 더 나은 구별성이 이러한 추가 노력을 상쇄하여, 순진하게 경로 지정된 직선 링크를 사용할 때와 유사한 성능을 보일 것으로 예상한다.

  • [H3] 맥락 보존 시각 링크는 사용자 만족도에 긍정적인 영향을 미친다.

    • 기본 시각화의 맥락 정보가 시각 검색 작업에 필요하지 않지만, 맥락 보존 시각 링크의 모양이 기본 표현에 맞춰 조정되기 때문에 사용자 수용도가 더 높을 것으로 가정한다.
  
  
• 결과 (Results)
  • 사용자가 이미지에서 강조된 요소를 세는 데 걸린 시간, 보고된 강조 요소 수의 정확성, 그리고 설문지로 다루어진 주관적 측정치를 측정하여 결론을 도출했다.

[Figure 11] 성능 결과: (a) 작업 완료 시간(ms)과 (b) 오류율의 평균 및 표준 오류(보고된 수와 이미지당 실제 하이라이트 수의 평균 편차).
[Figure 12] 설문지 결과(평균 및 표준 오차)는 7점 만점이며, 해당 Likert 척도는 높을수록 좋다.

---

💡 CONCLUSION AND FUTURE WORK

• 본 논문은 기본 표현 위에 시각적 링크를 증강하는 기법을 제시하며, 기존 문맥 정보를 보존하는 것을 주요 목표로 한다.
• 링크의 라우팅과 시각적 외관은 중요한 정보의 가림 현상을 피하고, 겹쳐진 표현으로부터 링크가 시각적으로 두드러지게 보이도록 최적화된다.
• 본 기법은 시각화 파이프라인의 마지막 단계에서 강조 표시 절차로 수행되므로, 다양한 시각적 분석 시나리오에 적용될 수 있다.
  
  
• 사용자 연구 결과에 따르면, 문맥 보존이 복잡한 시각화에서 간단한 시각적 검색 작업의 주관적 또는 정량적으로 측정된 작업 성능에 부정적인 영향을 미치지 않는다는 가설이 지지된다.
• 주관적인 피드백은 사용자들이 문맥 보존 시각적 링크를 직선 링크나 단순 강조 표시보다 더 매력적이라고 인식한다.
• 형태 요소에 관계없이, 실험은 시각적 검색 작업에서 선 연결이 없는 단순 강조 표시와 비교하여 시각적 링크가 명확한 이점을 제공함을 보여준다.

---

💡 MY THOUGHTS

• 해당 연구가 가장 중점적으로 고려해야 했던 사항은 두가지 정도라는 생각이 들었습니다. 인지되는 표현의 복잡도를 크게 높이지 않으면서도 링크의 가독성을 높이기 위해서는
  
  1) 둘 간의 trade-off 내에서 적절한 균형을 찾아야 하며
  2) 링크 및 기본 표현에 가하는 변주가 실제 전달해야 하는 정보에 왜곡을 가해서는 안될 것 같습니다.
  
  이러한 관점에서 본 연구가 방대한 design space 내에서 발생할 수 있는 변수를 최대한 많이 고려하고, 그에 따라 앞서 제시한 두가지 문제에 모두 대응하기 위해 많은 품을 들였다는 인상을 받았습니다. 이러한 과정을 다루기 위해 APPEARANCE ADJUSTMENTS 라는 목차가 별도로 제시된 것으로 보이는데, 초기 제시된 맥락 기반의 링킹 방식이 여전히 해소하지 못하는 문제를 스스로 짚어내고, 이에 여러 변조 방식을 추가적으로 도입하여 대응한 점이 인상 깊었습니다.

• User Study 단계에서 사용자가 수행한 Task는 시각적으로 복잡한 이미지 내에서 여러 목표를 식별하는 것이었으며, 해당 작업은 지식 노동자의 일반적인 시각 검색 작업을 반영한다고 명시되어 있습니다. 다만, 저에게는 주어진 태스크가 단순히 강조된 요소의 수를 식별하는 것이라는 점이 다소 아쉽게 느껴졌습니다.
  APPLICATION SCENARIOS에서도 언급되었듯 시각적 링크는 여러 관련 정보 조각를 단순히 보기 좋게 연결하는 것이 아닌, 그들 간의 관계를 비교적 쉽게 파악할 수 있도록 합니다. Figure 7에서도 알 수 있듯, 자동차 무게와 가속도, 브랜드 간의 연결성을 파악하고, 각각의 속성을 공유하는 개체들을 이해할 수 있는 등 링크가 제공하는 정보 전달 측면의 이점은 다양할 것으로 생각됩니다. 따라서 해당 쓰임에 맞게 여러 태스크를 설계하였다면, 맥락 보존 시각 링크가 실제 사용 환경에서 어떠한 작업 양상의 차이를 만들어내는지 파악해볼 수 있었을 것 같습니다.

• Implementation 내에서 알고리즘이 적용되고, 최적화가 이루어지는 과정에 대한 이해가 다소 어려웠다는 점이 아쉽지만 .. 전반적인 아이디어와 특정 도메인의 design space을 면밀히 탐색하는 방식에 대한 많은 인사이트를 얻을 수 있었습니다 :)