Attention and Visual Memory in Visualization and Computer Graphics - (1)

📍 Attention and Visual Memory in Visualization and Computer Graphics

https://ieeexplore.ieee.org/document/5963660

✏️ 최근에 HCI 및 Information Visualization 분야에 대해 공부하고 있어서, 관련한 기본적인 개념이나 지식들을 정리하는 차원에서 종종 글을 써볼 예정입니다 !
✏️ 본 글 또한 paper review이긴 하나, 논문 요약보다는 개념 정리 위주로 작성한 글입니다 :)

---

💡 Visualization

시각화의 근본적인 목표 :
시각적 분석, 탐색, 새로운 인사이트 발견을 지원하는 데이터 이미지를 생성하는 것

• 시각화 설계에서 가장 중요한 고려 요소 중 하나는 인간의 시각 지각(human visual perception)의 역할이다.
• 인간이 이미지 속 세부 사항을 "어떻게 보는가"를 이해하는 것이 중요하다.
• 이에 따라 본 논문은 주의 (attention) 및 시각 지각(visual perception)에 대한 연구를 개관한다.

---

💡 Preattentive Processing

• 인간 시각 시스템이 이미지를 어떻게 분석하는지에 대한 탐구
• 인간 시각의 한가지 특징은, 형태와 색상에 대한 정밀한 시각은 시야의 아주 작은 부분에서만 가능하다는 점이다.
• 따라서 한 영역 이상의 세부 정보를 보기 위해 눈은 빠르게 움직인다.
  • 정지 상태에서 정보를 취득하는 짧은 고정 단계 : fixation
  • 빠르게 다른 위치로 이동하는 순간적인 눈의 움직임 단계 : saccade
    ㄴ 두 단계를 반복하며 고정-도약 주기 (fixation-saccade cycle)을 이룬다.
    ㄴ 이는 우리가 깨어 있는 시간 동안 매초 3-4회 반복된다.
• 각 fixation 시점에서 들어오는 하향 (bottom-up) 정보는 우리의 정신적 경험에 영향을 준다.
• 우리의 정신 상태는 상향 (top-down) 방식으로 saccade를 유도하여 새로운 위치로 눈을 이끈다.

이미지의 어느 영역을 더 정밀하게 분석할지를 결정하는 여러 메커니즘을 통칭하여
시각적 주의 (visual attention)이라고 한다.

• 초기 연구 : "저수준의 빠르게 작동하는 시각 처리 과정에 의해, 매우 빠르게 감지되는 시각적 특징들의 제한된 집합이 존재한다"
  → "주의 전 (preattentive) 특성" : 한번의 fixation 동안에 감지되는 짧은 시간 내의 처리

❗️ 주의 전 처리 (preattentive processing)
: 200 - 250ms 이내에 대규모 다요소 디스플레이에서 수행할 수 있는 작업

• saccade는 시작하는 데만 최소 200ms가 걸리므로, 관찰자는 한번의 응시로도 작업을 완료할 수 있다.
  [Fig. 1.] Target detection
  (a) hue target red circle absent; (b) target present;
  (c) shape target red circle absent; (d) target present;
  (e) conjunction target red circle present; (f) target absent.

• Fig. 1a, 1b와 같이 파란 원들 사이에서 빨간 원을 탐지하는 작업은 주의 전 작업의 대표적인 사례다.

  • 표적 (target) 객체는 "빨강"이라는 시각적 특성을 가지며 파란색 방해 요소 (distractor)들은 그 특성을 공유하지 않는다.
    → 관찰자는 표적이 존재하는지 여부를 쉽게 판단할 수 있다.

• Fig. 1c, 1d에서는 형태의 곡률 (curvature) 차이를 통해 표적이 인식된다.

  이처럼 고유한 시각적 속성으로 정의된 표적은 pop-out하기 때문에
  방해 요소의 수와 관계 없이 쉽게 감지된다.

• 다만, Fig. 1e, 1f와 같이 두 가지 이상의 시각적 속성의 결합으로 정의된 표적의 경우
  → 주의 전 처리로 감지되지 않는 경우가 많다.

  • 더 어려운 결합 탐색 (conjunction search)을 요구한다.
    ㄴ 표적은 "빨강"과 "원형"이라는 두 속성으로 구성된다.
    ㄴ 방해 요소들은 각각 이 두 속성 중 하나만 가진 빨간 사각형 혹은 파란 원이다.
    → 관찰자는 일일이 탐색하는 과정 (serial search)를 통해 표적의 존재 여부를 확인해야 한다.

[Fig. 2.] Examples of preattentive visual features, with references to papers that investigated each feature’s capabilities.

• Fig.2.는 주의 전 처리 (preattentive processing)로 확인되는 시각적 특성들 중 일부를 보여준다. 해당 시각적 요소들을 활용하여 다음과 같은 태스크를 수행하는 실험을 설계할 수 있다.
  • 표적 탐지 (Target detection) : 방해 요소들 사이에서 고유한 시각적 특성을 지닌 표적 요소를 탐지한다.
  • 경계 탐지 (Boundary detection) : 두 집단의 요소들 사이에서 텍스처 경계 (texture boundary)를 탐지한다. 이때, 각 집단의 모든 요소들은 공통된 시각적 속성을 가진다.
  • 영역 추적 (Region tracking) : 고유한 시각적 특성을 가진 하나 이상의 요소가 시간과 공간 속에서 움직이는 경로를 추적한다.
  • 개수 세기 및 추정 (Counting and estimation) : 고유한 시각적 특성을 가진 요소들의 개수를 세거나 대략적인 수량을 추정한다.

따라서 ..
시각화에 이러한 저수준 시각 처리 과정을 잘 활용하기 위해서는
1) 시각 시스템의 강점을 활용하고
2) 관찰자의 분석 목적에 적합하며,
3) 정보를 가리는 시각적 간섭 효과 (결합 탐색 등)을 유발하지 않아야 한다.

---

💡 Theories of Preattentive Vision

• 주의 전 처리가 시각 시스템 내에서 어떻게 발생하는지를 설명하기 위한 이론들이 여럿 존재한다.
• 본 논문은 그중 다섯 가지의 잘 알려진 모델들을 설명한다.

💡 특징 통합 이론 (Feature Integration Theory) - Treisman

• 선택적 지각 (selective perception)을 유발하는 이미지 속 특성들에 집중했다.

• 서로 관련된 두 가지 문제에 포커스를 맞췄다 :

  • 어떤 시각적 속성이 주의 전 처리로 감지되는가 ?
    : "주의 전 특성" (preattentive features)
  • 시각 시스템이 주의 전 처리를 어떻게 수행하는가 ?

• 표적 탐지 및 경계 탐지 실험을 통해 주의 전 특성들을 분류하고 다음 방법으로 성능을 측정했다 :

  • 반응 시간 (response time) 기준 :

    • 관찰자에게 높은 정확도를 유지하면서 최대한 빠르게 과업을 수행하도록 요청한다.
    • 화면에 표시되는 방해 요소의 수는 다양하게 조절된다.

    → 만약 과업 수행 시간이 방해 요소 수와 무관하게 일정하고,
    일정 임계값 이하라면 그 과업은 주의 전 처리된 것으로 간주한다.

  • 정확도 (accuracy) 기준 :

    • 화면은 짧고 고정된 시간 동안만 노출되고 바로 사라진다.
    • 방해 요소 수는 마찬가지로 다양하게 설정된다.

    → 만약 방해 요소 수와 관계 없이 정확하게 과업을 수행한다면,
    해당 표적을 정의한 시각 속성은 주의 전 특성으로 판단한다.

• 결과적으로, [Fig. 2.]와 같이 주의 전 처리로 감지되는 시각적 특성들의 목록을 수집하였다.

  • 여기에는 비대칭적인 (asymmetric) 특성들도 존재한다.
  • 예를 들어, 수직선들 사이의 기울어진 선은 주의 전으로 감지되지만, 기울어진 선들 사이의 수직선은 그렇지 않다.

• 주의 전 처리를 설명하기 위해, Treisman은 저수준 인간 시각 (low-level human vision) 에 대한 모델을 제안했다.
  [Fig. 3.] Treisman’s feature integration model of early vision—individual maps can be accessed in parallel to detect feature activity, but focused attention is required to combine features at a common spatial location [22].

  • 여러 개의 "특성 맵 (feature maps)"과 하나의 "위치 마스터 맵 (master map of locations)"으로 구성된다.
  • 각 특성 맵은 하나의 시각적 특성에 대한 활동만을 기록한다.
  • 시각 시스템이 어떤 이미지를 처음 인식하면, 모든 특성들이 병렬적으로 각 특성 맵에 인코딩된다.
  • 관찰자는 특정 맵에 접근하여 활동 유무를 확인하거나, 활동 수준을 확인할 수 있다.
  • 이때 개별 특성 맵은 위치 정보, 공간적 배치, 또는 다른 맵들과의 관계에 대한 정보는 제공하지 않는다.

• 주의 전 처리가 어떻게 발생하는지에 대한 일반적인 가설을 제시했다.

  1) 표적이 고유한 특성을 가지고 있다면, 단순히 해당하는 특성 맵을 조회하여 활동이 있는지 확인하면 된다.

  • 특성 맵들은 병렬로 인코딩되므로, 특성 탐지는 거의 즉각적으로 이루어진다.

  2) 반면 결합 표적 (conjunction target)의 경우, 두 개 이상의 특성 맵에 접근해야 한다.

  • 위치 마스터 맵을 통해 순차적으로 탐색하면서, 해당 특성 조합을 만족하는 객체를 찾아야 한다.
    → 높은 주의력을 필요로 하며, 상대적으로 많은 시간과 노력이 요구된다.

📍 더 나아가..

• "병렬 vs. 순차" 탐지의 이분법적 구분을 확장했다.

  • 병렬과 순차는 "있음 / 없음"의 구분이 아닌, 정도의 차이를 갖는 연속선상에 존재한다고 본다.
  • 표적과 방해 요소 간의 차이가 클수록 탐색 시간이 짧아지고, 차이가 작을수록 오랜 시간이 소요된다.

• 운동, 깊이, 색상, 방향 등을 포함한 결합 탐색 (conjunction search) 의 경우에도, 특정 조건에서 주의 전 처리로 탐지가 가능함을 설명했다.

  • 표적과 비표적 간의 차이가 충분히 클 경우, 각 특성 맵이 비표적 정보를 억제 (inhibit)할 수 있다고 가정한다.

  • 예를 들어, 녹색 수평 막대를 찾는 상황을 가정해보자.

    • 방해 요소로는 빨간 수평 막대와 녹색 수직 막대가 있다.
    • 이때, 빨강 특성 맵이 빨간 수평 막대에 대한 정보를 억제한다면, 탐색은 결국 "녹색 수직 막대들 사이에서 녹색 수평 막대를 찾는 문제"로 단순화되어 주의 전 탐지가 가능해진다.

💡 텍스톤 이론 (Texton Theory) - Julesz

• 한 번의 fixation 동안 무엇을 보는지에 대한 이해를 확장하였다.

• 초기 시각 시스템은 "텍스톤 (textons)"이라 불리는 세가지 유형의 특징을 감지한다고 제안했다.

• 세가지 텍스톤은 다음과 같다 :
  

  1) 길쭉한 블롭 (elongated blobs)
  : 특정한 색상 (hue), 방향 (orientation), 너비 (width) 등의 속성을 가진 선, 직사각형, 타원 등의 요소
  2) 종결점 (terminators) : 선분의 끝부분
  3) 교차점 (crossings) : 선분이 교차하는 지점

  • 오직 텍스톤 간의 차이나 텍스톤 밀도의 차이만이 주의 전 처리로 감지될 수 있다고 주장했다.
  • 텍스톤 간의 위치 정보는 높은 주의력 (focused attention) 없이는 사용할 수 없다.

• 자신의 이론을 입증하기 위해 텍스처 분리 (texture segmentation)이라는 개념을 사용했다.
  [Fig. 4.] Textons
  (a, b) two textons A and B that appear different in isolation, but have the same size, number of terminators, and join points;
  (c) a target group of B-textons is difficult to detect in a background of A-textons when random rotation is applied [49].

• 그림 속 두 개체 (a), (b)는 따로 보면 매우 다르게 보이지만, 사실 텍스톤의 관점에서는 동일하다.
  : 두 개체 모두 같은 높이와 너비를 가진 블롭 (blob)이며, 같은 구성의 선분과 두 개의 종결점으로 이루어져 있다.

• 해당 개체들이 이미지에서 무작위 방향으로 배치되면, 표적 그룹과 배경 방해 요소 간의 경계는 주의 전으로는 감지할 수 없다.

💡 유사성 이론 (Similarity Theory)

Quinlan과 Humphreys

• 뇌 속의 뉴런 집단이 서로 경쟁하면서 하나의 객체를 대표하려고 한다는 점에 주목했다.

• 결합 탐색 (conjunction search)에 영향을 미치는 두가지 요인을 조사하였다 :

  1) 표적을 식별하기 위해 필요한 정보 항목 수에 따라 탐색 시간이 달라질 수 있다.
  2) 고유한 주의 전 특성이 존재하더라도, 표적이 방해 요소들과 얼마나 쉽게 구별되는지에 따라 탐색 시간이 달라질 수 있다.
  

Duncan과 Humphreys

• 탐색 능력은 이산적이 아닌 연속적이며, 과업 유형과 디스플레이 조건에 따라 달라진다는 가설을 세웠다.
• 탐색 시간이 두가지 유사도 지표에 의해 결정된다고 주장했다 :
  
  1) T-N 유사도 (Target-Nontarget similarity) : 표적과 비표적 간의 유사성
  2) N-N 유사도 (Nontarget-Nontarget similarity) : 비표적들 간의 유사성
  

• T-N 유사도가 증가하거나 N-N 유사도가 감소하면
  → 탐색 효율이 떨어지고 탐색 시간이 늘어난다.
• T-N 유사도와 N-N 유사도는 상호작용한다.
  • T-N 유사도가 낮으면, N-N 유사도의 감소는 거의 영향을 주지 않는다.
  • N-N 유사도가 높으면, T-N 유사도의 증가는 큰 영향을 미치지 않는다.

[Fig. 5.] N-N similarity affecting search efficiency for an L-shaped target:
(a) high N-N (nontarget-nontarget) similarity allows easy detection of the target L;
(b) low N-N similarity increases the difficulty of detecting the target L [55].

• 앞서 설명한 Treisman의 특징 통합 이론 (feature integration theory)은 Fig. 5. 같은 경우를 잘 설명하지 못한다.

• 두 그림 모두에서 방해 요소는 표적과 같은 특성들 (정해진 길이의 방향성 있는 연결 선들)을 사용한다.

• 하지만 실험 결과는 다음과 같다 :

  • Fig. 5a 처럼 방해 요소가 서로 유사할 때 (N-N 유사도가 높을 때) : 방해 요소 1개 당 평균 탐색 시간 +4.5ms
  • Fig. 5b 처럼 방해 요소가 서로 다를 때 (N-N 유사도가 낮을 때) : 방해 요소 1개 당 평균 탐색 시간 + 54.5ms

• 이 결과를 설명하기 위해 Duncan과 Humphreys는 3단계 시각 선택 이론 (visual selection theory)을 제안했다.

  • 시각 장 (visual field)은 병렬적으로 공통 속성 (공간적 근접성, 색상 등)을 공유하는 구조 단위(structural units)로 분할된다.
    → 이 단위들은 다시 분할되어 계층적 표현 (hierarchical representation)을 구성할 수 있다.

  • 시각 단기 기억 (visual short-term memory)에 접근할 수 있는 자원은 제한적이다. 탐색 시에는 표적 속성에 대한 템플릿이 존재한다.
    → 이 템플릿에 더 잘 일치하는 단위일수록 더 많은 자원을 부여받는다.

  • 템플릿과의 일치도가 낮은 구조 단위는, 강하게 묶여 있는 다른 단위들도 함께 효율적으로 제거할 수 있다.

    ❗️ 정리하자면 ..
    표적 템플릿과 가장 유사한 구조 단위일수록 단기 기억에 접근할 가능성이 높다.
    → 탐색 속도는 자원 분배 속도와 기억 접근 경쟁 정도에 의해 결정된다.

• 해당 관점에서 보면

  • T-N 유사도가 높아지면 → 템플릿과 유사한 구조 단위가 많아짐 → 경쟁 증가 → 탐색 시간 증가
  • N-N 유사도가 낮아지면 → 묶어서 제거할 구조 단위가 적어짐 → 분배 효율 하락 → 탐색 시간 증가

💡 유도 탐색 이론 (Guided Search Theory)

• Wolfe 외 연구자들은 관찰자의 목적을 시각 탐색 모델에 능동적으로 통합하려는 최초의 시도를 하였다.

• 시각 탐색 과정 중 하향식 (top-down) 및 상향식 (bottom-up) 정보를 모두 기반으로 한 활성화 맵 (activation map)이 만들어진다고 가정했다.

• 주의 (attention)는 이 맵에서 가장 높은 영향력 (활성도)을 가진 지점들 - 상향식과 하향식 정보가 강하게 결합된 이미지 영역들 - 로 이끌린다.
  [Fig. 6.] Guided search for steep green targets, an image is filtered into categories for each feature map, bottom-up and top-down activation “mark” target regions, and an activation map combines the information to draw attention to the highest “hills” in the map [61].

• 초기 시각 과정이 이미지를 개별적인 "특성 맵 (feature maps)"로 나눈다는 점에서는 Treisman과 견해를 같이 한다.

  • 각 맵 내에서 특성은 여러 범주로 분류된다.
  • 상향식 활성화 (bottom-up activation)는 어떤 요소가 이웃 요소들과 얼마나 다른지를 측정한다.
  • 하향식 활성화 (top-down activation)은 관찰자가 이미지를 둘러보며 필요한 정보를 찾기 위해 설정한 목표 지향적 탐색이다.
    : 예를 들어 "파란색 요소"를 찾는 시각 탐색을 한다면, 파란색 위치들로 하향식 요청이 발생한다.

• Wolfe는 관찰자가 각 특성 맵이 제공하는 범주 내에서만 탐색 요청을 해야 한다고 주장한다.

• 활성화 맵은 상향식 + 하향식 활동을 통합한 결과물이다.

  • 두 정보의 가중치 비율은 과업의 특성에 따라 달라진다.
  • 높은 활성도를 지닌 지역 (hills) : 상향식 혹은 하향식 정보가 특히 강하게 작용하는 영역
    → 관찰자의 주의는 이 활성도 힐들 사이를 높은 순서에 따라 이동한다.

• 이론적으로 전통적인 병렬 탐색과 순차 탐색을 모두 설명한다.

• Similarity Theory의 결과 또한 설명이 가능하다.

  • N-N 유사도가 낮을수록 → 더 많은 방해 요소들이 상향식 활성화에 기여한다.
  • T-N 유사도가 높을수록 → 표적의 상향식 활성화가 약해진다.

• 결합 탐색 (conjunction search) 임에도 불구하고 주의 전 탐색이 가능한 경우 또한 설명이 가능하다.

  • 관찰자의 하향식 활성화가 결합 표적 탐색을 효율적으로 유도해주기 때문이다.

💡 불리언 맵 이론 (Boolean Map Theory)

• Huang 외 연구자들은 저수준 시각에서 왜 사람들이 현재 과업과 관련 없는 정보를 잘 인지하지 못하는가를 설명하고자 했다.

• 시각 탐색을 두 단계로 나눈다 :
  
  1) 선택 (selection) : 장면에서 객체 집합을 선택한다.
  2) 접근 (access) : 선택된 객체들의 어떤 속성에 관찰자가 접근할 수 있는지를 결정한다.
  

• 이에 따라 시각 시스템은 장면을 다음과 같이 구분할 수 있다 :
  
  1) 선택된 요소들 (selected elements)
  → 시각 시스템은 선택된 요소들의 일부 속성에 접근하여 정밀한 분석을 수행한다.
  2) 제외된 요소들 (excluded elements)
  이 둘의 구분이 바로 불리언 맵 (boolean map)의 핵심이다.
  

• 불리언 맵은 두 가지 방식으로 생성할 수 있다.

  • 하나의 시각 특성값을 지정하여 해당 특성을 가진 모든 객체를 선택하는 방식
    ex) 관찰자가 "빨간색" 객체를 선택하면 생성된 불리언 맵의 색상 라벨은 "빨간색"이 된다. (다른 특성들은 아직 맵 생성에 사용되지 않았기 때문에 별도로 정의되지 않는다.)
  • 특정 공간적 위치에 있는 객체들을 직접 선택하는 방식
    이 경우 어떤 특성값도 사용하지 않으므로, 생성된 불리언 맵의 모든 특성 라벨은 정의되지 않는다. [Fig. 7.] boolean maps:
    (a) red and blue vertical and horizontal elements;
    (b) map for “red,” color label is red, orientation label is undefined;
    (c) map for “vertical,” orientation label is vertical, color label is undefined;
    (d) map for set intersection on “red” and “vertical” maps [64].
    → 빨간색 또는 수직 객체를 선택했을 때 결과로 나오는 불리언 맵의 예시를 보여준다.

• 불리언 맵 vs. 특징 통합 이론의 중요한 차이점

  • 특징 통합 이론에서는 특성의 존재 여부는 주의 전 처리될 수 있지만 위치 정보는 제공되지 않는다.
  • 불리언 맵 이론에서는 선택된 요소들의 정확한 위치 정보와 해당 요소들의 속성을 함께 인코딩한다.

• 불리언 맵은 집합 연산 (합집합 ∪, 교집합 ∩)을 통해서도 생성이 가능하다. (Fig. 7d)
  예를 들어:
  
  1) 먼저 빨간 객체를 선택하여 빨간색 맵 생성 (Fig. 7b)
  2) 그다음 수직 객체를 선택하여 수직 맵 생성 (Fig. 7c)
  
  현재 메모리에 있는 빨간색 맵과 새로 생성된 수직 맵을 교집합(intersection)
  → “빨간 수직 객체들”의 위치 정보를 담은 불리언 맵 생성 (Fig. 7d)
  ⚠️ 단, 관찰자는 한 번에 단 하나의 불리언 맵만 유지할 수 있으며, 새로운 연산 결과는 기존 맵을 즉시 대체한다.

• 불리언 맵 이론은 몇가지 놀랍고 직관에 반하는 주장을 제시한다.

  • 예를 들어 다음과 같은 과제를 생각해보자 !
    목표 : 파란 수평 요소 찾기
    배경 (방해 요소) : 빨간 수평 + 파란 수직
    → 기존의 특징 통합 이론이나 유도 탐색 이론은 해당 조합 탐색을 비교적 쉽게 처리할 수 있다고 본다.

  • 다만, 불리언 맵 이론에서는 2단계 불리언 맵 연산을 순차적으로 수행해야 하므로 더 어렵다고 주장한다.

    1) 파란 객체 선택 → 파란색 맵 생성
    2) 두 번째로 수평 객체 선택 → 수평 맵 생성
    3) 두 맵을 교차(intersect)하여 목표 객체 탐색

    ✅ 이 탐색에서 걸리는 시간은 방해 요소의 수와 무관하다.
    전체 탐색 시간 = 두 번의 불리언 연산에 필요한 시간의 합

    [Fig. 8.] Conjunction search for a blue horizontal target with boolean maps, select “blue” objects, then search within for a horizontal target: (a) target present; (b) target absent.

---

💭 MY THOUGHTS

• 시각화의 궁극적인 목표와 이를 실현하기 위한 본질적인 요소들에 대해 고민해볼 수 있는 기회였습니다. 시각화의 목표는 단순히 데이터를 보기 '좋게' 전시하는 것이 아닌, 그것이 잘 인지되고 이해되도록 하는 것임을 알고, 이를 여러 실험 및 분석 결과를 통해 실감해볼 수 있었습니다.
• 더불어, 관찰자의 목표(goal)가 시각화 설계에서 능동적으로 고려되어야 함을 알게 되었습니다. Wolfe의 Guided Search Theory는 상향식 자극뿐 아니라, 하향식 목표 지향적 탐색이 실제 인지에 매우 중요하다는 점을 강조합니다. 이는 이후 사용자 기반의 시각화 설계에 있어서도 핵심적으로 고려해야 할 사항이라고 생각합니다.
• 아직 part 2가 남아있어 조금 더 살펴보아야 할 부분이 있지만, 여러 이론을 기반으로 인간의 시각 시스템이 정보를 어떻게 인지하고 수용하는지를 공부해볼 수 있었습니다. 이를 바탕으로 어떻게 하면 더 효율적인 시각화 설계를 할 수 있을지 고민해볼 수 있을 것 같습니다 :)