0. 3줄 요약

• 논문 기본 정보: 본 리뷰는 Van-Anh Nguyen 등이 2022년 작성한 "Vision Transformer Visualization: What Neurons Tell and How Neurons Behave?" 논문을 다루며, 비전 트랜스포머(ViT)의 특징 임베딩과 뉴런이 포착하는 시각적 정보를 분석합니다.
• 핵심 목적 및 제안 방법: ViT의 계층이 깊어짐에 따라 개별 뉴런과 패치 임베딩이 어떠한 지역적/전역적 정보를 담는지 추적하는 시각화 기법을 제안하고, 이를 통해 나타나는 임베딩의 '군집화(Clustering) 현상'을 수학적 모델링으로 규명합니다.
• 주요 성과 및 의의: ViT가 패치 셔플링이나 이미지 가림(Occlusion)에 강건한 원인이 깊은 계층에서의 객체 중심 군집화에 있음을 정량적/정성적으로 입증하였으며, 향후 대조 학습(Contrastive Learning)을 활용해 다운스트림 태스크의 성능을 높일 수 있는 이론적 단초를 제공합니다.

---

1. 배경 및 문제 정의

연구 등장 배경 및 기존 방법의 접근

트랜스포머(Transformer) 아키텍처가 자연어 처리를 넘어 컴퓨터 비전 영역에 도입된 이후, 비전 트랜스포머(Vision Transformer, ViT)는 이미지 분류 및 객체 탐지 등 다양한 태스크에서 뛰어난 성능을 입증해 왔습니다. 그러나 멀티 헤드 셀프 어텐션(Multi-head Self-attention) 기반의 동작 원리는 기존의 합성곱 신경망(CNN)과 근본적으로 다르기 때문에, 모델 내부에서 정보가 어떻게 흐르고 학습되는지는 블랙박스로 남아있었습니다. 이전의 연구들은 주로 모델의 어텐션 맵(Attention Map)을 기반으로 간접적인 분석을 시도하거나, 적대적 공격(Adversarial attack)에 대한 거동을 평가하는 데 그쳤습니다.

기존 방법의 한계 및 핵심 문제 정의

기존 시각화 및 분석 방법론은 어텐션 가중치의 분포 자체를 보여줄 뿐, 계층별로 개별 뉴런이 입력 이미지의 '어떤 구체적인 전역/지역적 특징'을 담고 있는지 픽셀 수준에서 물리적으로 설명하지 못하는 한계가 있었습니다. 특히 ViT가 CNN에 비해 이미지 가림(Occlusion)이나 패치 섞임(Patch Shuffling)에 왜 더 강건하게 동작하는지 시각적, 수학적으로 뒷받침하는 연구는 부족했습니다. 따라서 본 논문은 모델 내부의 연산 흐름을 역추적하여 각 뉴런과 특징 임베딩이 함의하는 시각적 정보를 원본 픽셀 공간에 직접 투영(Projection)하는 기법을 개발하고, 계층 간 정보 변화를 분석하는 것을 핵심 문제로 정의합니다.

---

2. 제안 방법 (Method)

시각화 방법의 핵심 아이디어 및 데이터 전처리 단계

본 연구는 사전 학습된 ViT 모델(Pre-trained ViT)을 분석 대상으로 삼으므로 별도의 새로운 네트워크 학습(Training) 파이프라인을 제안하지는 않으며, 추론(Inference) 단계의 순방향 패스(Forward Pass)에서 도출되는 텐서와 가중치를 역산하여 시각화하는 파이프라인을 구축합니다.

입력 이미지 $x \in \mathbb{R}^{H \times W \times C}$는 $N$개의 패치 $x_p^i \in \mathbb{R}^{P \times P \times C}$로 분할되어 네트워크에 주입됩니다. 데이터가 모델의 첫 계층에 입력되면 $D$ 차원의 필터 $f_j$와 결합하여 패치 임베딩이 생성됩니다. 0번 계층(Layer 0)에서 특정 뉴런 $z_0^{i,j}$ (패치 $i$의 $j$번째 차원 뉴런)가 획득한 시각적 정보는 원소별 곱(Element-wise product)을 통해 시각화 텐서 $\mathcal{V}$로 변환됩니다:
$\mathcal{V}(z_0^{i,j}) = f_j \otimes x_p^i \in \mathbb{R}^{P \times P \times C}$
이 단계에서 중요한 엔지니어링적 발견은 CNN의 초기 필터가 단순한 선이나 엣지만을 추출하는 것과 달리, ViT의 $16 \times 16 \times 3$ 차원 필터는 강한 최적화 용량(Capacity)을 지녀 초기 계층부터 특정 객체(예: 개별 동물의 형태)를 활성화하는 복합적인 시맨틱 특징을 담고 있다는 점입니다.

심층 계층(Layer $\ge 1$)의 시각화 파이프라인

계층이 깊어지면 셀프 어텐션 메커니즘에 의해 각 패치는 이미지 전체의 전역(Global) 정보를 융합하게 됩니다. 1번 계층의 뉴런 시각화는 이전 계층의 시각화 결과에 어텐션 가중치 $a_0^{k,i}$를 가중합(Weighted sum)하여 원본 이미지 크기로 공간적 재배치(Concatenation)를 수행합니다.
더 깊은 계층(Layer 2 이상)에 위치한 뉴런 $z_2^{i,j}$는 이전 계층의 시각화 출력물에 어텐션 가중치를 곱하여 선형적으로 누적(Aggregation)하는 방식으로 설계되었습니다:

이 수학적 파이프라인은 최종적으로 $\mathbb{R}^{H \times W \times C}$ 차원의 텐서를 반환하여 특정 뉴런이 픽셀 레벨에서 이미지의 어느 영역에 기인하여 값을 형성했는지 정확하게 보여줍니다.

특징 임베딩의 군집화(Clustering Behavior) 수학적 증명

저자들은 시각화 과정을 통해, 같은 객체에 속한 패치 임베딩들이 상위 계층으로 갈수록 서로 강하게 뭉치는 '군집화 거동'을 발견하고 이를 수학적으로 증명했습니다. 단일 헤드 어텐션(Single-head Attention)과 가치 행렬(Value matrix) $W_V = I$로 가정하는 환경에서, $t$ 계층의 임베딩 집합 내 $m$번째 클러스터를 $Z_t^m$이라고 할 때, 계층이 지날수록 클러스터 내의 최대 거리(Diameter) $d(Z_{t+1}^m)$의 상한은 다음과 같이 유도됩니다:

여기서 상수 $A_m$은 클러스터 외부의 패치 수와 관련된 값이며, $\epsilon_l, \epsilon_u$는 서로 다른 클러스터 간의 어텐션 가중치 최소, 최댓값입니다. 즉, 서로 다른 객체 간의 어텐션 가중치 $\epsilon_u$가 충분히 작을 경우, 클러스터 내부 거리 $d(Z_{t+1}^m)$는 이전 계층 $d(Z_t^m)$보다 점진적으로 감소하며 강력하게 군집화됨을 수학적으로 엄밀히 보였습니다.

---

3. 실험 결과 (Experiments)

실험 환경 및 평가지표

이론적 검증을 위해 Pascal VOC 2009 데이터셋에서 객체 영역 분할 정답(Ground-truth pixel label)이 명확하고 최소 2개 이상의 객체가 존재하는 이미지를 선별하여 실험을 구성했습니다. 객체와 40% 이상 겹치는 패치에 정답 라벨을 부여하였고, 고차원 임베딩 차원에서 DBSCAN 클러스터링 알고리즘을 수행하여 군집화 성능을 평가했습니다. 평가지표로는 순도(Purity), 실루엣 점수(Silhouette score), 임베딩의 평균 코사인 유사도(Cosine Similarity) 등이 사용되었습니다.

핵심 성능 및 해석적 실험 결과

• 군집화 정량 성능: 계층이 깊어질수록 클러스터의 순도(Purity)와 실루엣 점수가 우상향하는 경향을 뚜렷하게 보였습니다. 이는 특정 객체가 한 클러스터를 완전히 지배하게 되며(High Purity), 클러스터 내부의 패치 임베딩 간 거리가 다른 군집 간 거리 대비 극적으로 가까워짐(High Silhouette)을 입증합니다.

• 패치 셔플링(Patch Shuffling) 결과: 이미지를 $2 \times 2$ 그리드로 섞은 경우 모든 군집화 지표가 견고하게 유지되어 ViT가 공간적 순서 교란에 강건함을 보였습니다. 단, $8 \times 8$ 수준의 극단적 셔플링 환경에서는 어텐션 맵은 유지되나 특징 임베딩의 군집화 지표 자체가 붕괴하는 현상이 나타났습니다.

• 가림(Occlusion) 어블레이션: 입력 패치를 무작위로 지우는 'Random Drop'과 배경을 지우는 'Non-salient occlusion' 실험에서 삭제 비율이 0.6 수준에 이를 때까지 상위 계층에서 객체의 특징이 성공적으로 군집화 및 복원됨을 시각화 텐서를 통해 관찰할 수 있었습니다. 그러나 객체 정보가 담긴 패치를 타겟하여 지웠을 때(Salient occlusion)는 상위 계층에서의 군집 형성 능력이 가장 뚜렷하게 방해를 받았습니다.

---

4. 한계점 및 시사점

명확한 한계와 제약 조건

논문이 제안한 수학적 군집화 거동 모델은 단일 헤드 셀프 어텐션 환경 및 가치 행렬을 단위 행렬($W_V = I$)로 설정했다는 단순화된 가정 위에서 증명되었다는 이론적 한계가 존재합니다. 엔지니어링적 측면에서는 계층을 거슬러 올라가며 모든 어텐션 텐서($\mathbb{R}^{H \times W \times C}$)를 누적 연산해야 하므로, 토큰의 수가 기하급수적으로 많아지는 대형 고해상도 이미지를 실시간으로 분석하기에는 연산 및 메모리 부하가 크다는 실제적 제약이 수반됩니다.

학술적 의미 및 확장 가능성

이 연구는 ViT가 지닌 강력한 특징 추출 및 노이즈 강건성이 '깊은 계층으로 갈수록 동일 객체의 특징이 자기조직화(Self-organizing)되어 군집을 형성하는 특성'에 기인함을 명확히 밝혔다는 데 큰 의의가 있습니다. 저자들은 이 발견을 토대로, 향후 대조 학습(Contrastive Learning)을 적용해 임베딩 공간 내 동일 객체 토큰끼리의 응집력을 의도적으로 강화한다면, 이미지 분할(Semantic Segmentation)이나 객체 탐지(Object Detection) 같은 다운스트림 태스크의 성능을 한 차원 더 끌어올릴 수 있는 새로운 학습 파이프라인 개발의 기틀이 될 것이라 시사합니다.