[논문 리뷰] What Do Vision Transformers Learn? A Visual Exploration

김성윤(Jack)·2026년 6월 29일

LLM XAI

논문 리뷰

목록 보기

55/60

0. 3줄 요약

논문 정보: What Do Vision Transformers Learn? A Visual Exploration은 Amin Ghiasi, Hamid Kazemi, Eitan Borgnia, Steven Reich, Manli Shu, Micah Goldblum, Andrew Gordon Wilson, Tom Goldstein이 2022년 12월 arXiv preprint로 공개한 ViT 내부 feature visualization 연구이다.
핵심 목적: 기존 CNN에서는 feature visualization이 가능했지만 ViT에서는 내부 표현을 직접 보기 어려웠기 때문에, 이 논문은 ViT의 어떤 layer와 어떤 module을 시각화해야 해석 가능한 feature가 나오는지 분석한다.
핵심 의의: ViT는 마지막 layer를 제외하면 patch-wise spatial information을 유지하며, 중간 layer에서는 CNN처럼 texture → part → object로 진행되는 feature specialization을 보이고, 마지막 layer는 learned global pooling처럼 token 정보를 섞는다는 점을 제시한다.

1. 배경 및 문제 정의

연구 배경

CNN 해석 연구에서는 convolution feature map, activation maximization, deconvolution, saliency map 등을 통해 layer별 feature가 무엇을 학습하는지 비교적 직관적으로 분석해 왔다. 얕은 CNN layer는 edge, color, texture를 잡고, 깊은 layer는 object part나 class-level object를 잡는다는 해석이 가능했다.

반면 Vision Transformer는 이미지를 patch token sequence로 변환한 뒤 self-attention과 MLP block을 반복적으로 적용한다. 이 구조에서는 CNN처럼 명확한 2D convolution feature map이 존재하지 않는다. 또한 모든 patch token이 attention을 통해 서로 영향을 줄 수 있기 때문에, 특정 patch token의 activation을 다시 이미지 공간에 펼쳤을 때 그것이 실제 local feature를 의미하는지 불명확하다.

이 논문은 이 문제에서 출발한다. ViT는 computer vision에서 빠르게 핵심 architecture가 되었지만, 내부 feature가 무엇을 학습하는지, CNN과 유사한 hierarchy를 갖는지, attention 내부의 어떤 representation을 봐야 하는지에 대한 직접적인 시각화 연구가 부족했다.

기존 방법들의 핵심 접근 방식

기존 ViT 해석 방법은 주로 다음 방향이었다.

Attention map 기반 해석

ViT의 self-attention matrix를 시각화하여 class token이 어떤 patch에 attention을 주는지, head별로 어떤 영역을 보는지 분석한다. 이 방식은 구현이 쉽지만 attention은 token 간 정보 혼합 weight이지 feature 자체가 아니다.

CKA / representation similarity 분석

ViT와 CNN의 layer representation이 얼마나 유사한지, spatial information이 어느 정도 보존되는지 정량적으로 비교한다. 그러나 이 방식은 feature의 의미를 직접 보여주지는 않는다.

Saliency / relevance map 기반 해석

입력 이미지의 어떤 영역이 classification output에 중요한지 gradient나 relevance propagation으로 계산한다. 그러나 이것 역시 “모델 내부의 특정 neuron/channel이 무엇을 선호하는가”를 직접 보여주지는 않는다.

기존 방법의 한계

기존 방법의 핵심 한계는 ViT 내부 feature를 직접 시각화하지 못했다는 점이다. Attention map은 어디에서 정보가 섞이는지 보여주지만, 특정 feature channel이 texture, background, object part, semantic concept 중 무엇에 반응하는지는 알려주지 않는다.

또한 ViT 내부의 Q, K, V representation은 차원이 (768) 정도로 압축되어 있어 많은 의미가 entangled되어 있다. 이 논문은 실제로 Q/K/V feature에 activation maximization을 적용하면 해석 가능한 이미지가 아니라 high-frequency pattern이나 adversarial-looking pattern이 나온다고 보고한다. 반면 feed-forward layer 내부의 고차원 representation은 훨씬 해석 가능한 feature visualization을 제공한다.

핵심 문제 정의

이 논문이 해결하려는 문제는 다음과 같다.

ViT 내부의 어떤 representation을 시각화해야 해석 가능한 feature를 얻을 수 있는가?
그리고 그렇게 시각화했을 때 ViT는 CNN처럼 layer-wise feature hierarchy와 spatial information을 유지하는가?

즉, 이 논문은 단순히 “ViT attention map이 어디를 보는가”가 아니라, ViT 내부 neuron/channel이 실제로 무엇을 학습하는가를 보는 연구이다.

2. 제안 방법 (Method)

전체 방법의 핵심 아이디어

논문의 핵심 아이디어는 activation maximization을 ViT 내부 representation에 맞게 적용하는 것이다.

일반적인 activation maximization은 모델 가중치를 고정한 상태에서 입력 이미지 (x)를 직접 최적화하여, 특정 layer의 특정 feature activation이 최대가 되도록 만든다. 즉, 모델이 이미 학습된 후 특정 neuron/channel이 가장 강하게 반응하는 이미지를 역으로 생성한다.

다만 ViT에서는 아무 representation이나 시각화하면 안 된다. 논문은 Q/K/V처럼 상대적으로 낮은 차원에 압축된 representation은 feature가 entangled되어 해석이 어렵고, 대신 position-wise feed-forward layer의 GELU output이 가장 해석 가능하다고 본다.

입력 데이터의 표현 및 변환 방식

ViT는 입력 이미지 (x)를 patch 단위로 분할한다. 각 patch (p)는 linear projection을 거쳐 (d)-차원 patch token으로 변환된다. ViT-B/16 기준으로 patch token dimension은 보통

d = 768

이다.

Transformer block 내부는 크게 다음 순서로 동작한다.

x \rightarrow \text{Multi-Head Self-Attention} \rightarrow \text{Projection} \rightarrow \text{Feed-Forward Layer}

논문에서 중요한 부분은 feed-forward layer이다. ViT-B/16의 feed-forward layer는 다음 구조를 가진다.

\text{Input shape}: (b, p, d)

\text{FC1}: d \rightarrow t d

\text{GELU}

\text{FC2}: t d \rightarrow d

여기서 (b)는 batch size, (p)는 patch 수, (d=768), (t=4)는 MLP에서 Hidden dimension 결정계수이다. 따라서 feed-forward 내부 hidden dimension은

t d = 4 \times 768 = 3072

가 된다.

논문은 대부분의 실험에서 GELU 이후의 (3072)-차원 feature를 시각화한다. 이유는 이 고차원 공간이 Q/K/V의 (768)-차원 표현보다 feature가 덜 섞여 있고, 상대적으로 disentangled된 representation을 담을 가능성이 높기 때문이다.

핵심 수식

ViT의 layer (l)에서 patch (p)의 representation을 다음과 같이 둔다.

A_{l,p} \in \mathbb{R}^{d}

여기서 ( $A_{l,p}$ )는 layer (l)에서 patch (p)가 가지는 feature vector이다.

특정 feature index (i)를 선택하면, 모든 patch에 대해 해당 feature activation을 모을 수 있다.

f_{l,i} = \left[ (A_{l,1})*i, (A_{l,2})*i, \dots, (A_{l,P})_i \right]

여기서 (P)는 patch 수이고, ( $(A_{l,p})_i$ )는 patch (p)의 (i)번째 feature activation이다.

논문은 특정 feature가 전체 patch에서 강하게 활성화되도록 입력 이미지 (x)를 최적화한다. 기본 objective는 다음과 같다.

L_{\text{main}}(x,l,i) = \sum_{p} (f_{l,i})_p

즉, layer (l), feature (i)의 patch-wise activation 합을 최대화한다.

여기에 total variation regularization을 추가한다.

x^* = \arg\max_x \sum_k L_{\text{main}}(a_k(x), l, i) + \lambda TV(a_k(x))

여기서 ( $a_k$ )는 입력 이미지에 적용되는 augmentation sample이고, ( $\lambda$ )는 total variation regularization 강도이다.

엄밀하게는 total variation은 이미지가 너무 고주파 noise로 최적화되는 것을 막기 위한 항이다. 실제 optimization 관점에서는 activation을 키우면서도 인접 pixel 간 변화가 지나치게 불규칙해지지 않도록 제약한다.

논문에서 사용한 시각화 기법 정리

1) ***Activation Maximization

특정 layer (l), feature index (i)를 정하고, 해당 feature activation이 최대가 되도록 입력 이미지 (x)를 최적화한다.

이 기법의 목적은 다음 질문에 답하는 것이다.

이 feature는 어떤 visual pattern을 가장 선호하는가?

예를 들어 어떤 feature가 gravel texture에 반응한다면, 최적화된 이미지는 자갈 같은 texture를 포함하게 된다. 어떤 feature가 shopping cart에 반응한다면, 최적화된 이미지에는 cart-like structure가 나타난다.

2) Total Variation Regularization

Activation maximization만 적용하면 이미지가 고주파 noise나 adversarial pattern처럼 나올 수 있다. 이를 줄이기 위해 total variation regularization을 사용한다.

TV(x) = \sum_{u,v} \left| x_{u+1,v} - x_{u,v} \right| + \left| x_{u,v+1} - x_{u,v} \right|

여기서 (u,v)는 pixel 좌표이다. 이 항은 인접 pixel 간 변화량을 줄여 이미지가 더 자연스럽고 연속적인 형태를 갖도록 만든다.

3) Jitter Augmentation

입력 이미지를 매 step마다 약간씩 이동시킨 뒤 activation을 최적화한다.

이는 특정 pixel 위치에 과적합된 pattern을 줄이고, feature가 위치 변화에도 안정적으로 반응하는 visual pattern을 만들도록 돕는다.

논문 appendix 기준으로 jitter 범위는 수직/수평 방향 모두 ((-32, 32)) 범위로 설정된다.

4) ColorShift Augmentation

입력 이미지의 color distribution을 변형한다.

논문에서는 ColorShift를 다음처럼 표현한다.

CS(x) = \sigma x + \mu

\mu \sim U(-1,1), \quad \sigma \sim e^{U(-1,1)}

여기서 ( $\mu$ )는 channel-wise additive shift이고, ( $\sigma$ )는 channel-wise scaling이다. 이 augmentation은 특정 색상 조합에만 과도하게 의존하는 visualization을 줄이고, feature의 구조적 pattern을 더 안정적으로 드러내기 위한 장치이다.

5) Gaussian Smoothing

입력에 Gaussian noise 또는 smoothing을 적용하여 feature visualization의 품질을 높인다.

논문은 최적화 과정에서 Gaussian smoothing을 사용했을 때 더 좋은 visualization이 나온다고 설명한다. Appendix에서는 smoothing의 standard deviation을 optimization 초반 (0.5)에서 후반 (0.0)으로 줄이는 schedule을 사용한다.

6) Augmentation Ensembling

하나의 입력 이미지 (x)에 대해 여러 augmentation ( $a_k(x)$ )를 만들고, 이들의 activation objective를 합산해 최적화한다.

x^* = \arg\max_x \sum_k L_{\text{main}}(a_k(x), l, i) + \lambda TV(a_k(x))

이 방식은 특정 augmentation 조건에서만 잘 작동하는 fragile한 pattern을 줄이고, 다양한 변형에서도 해당 feature를 안정적으로 활성화하는 이미지를 생성한다.

7) ***Top-Activating Image Retrieval

생성된 visualization만 보면 해석이 주관적일 수 있다. 따라서 논문은 ImageNet train/validation set에서 해당 feature를 가장 강하게 활성화하는 실제 이미지를 함께 찾는다.

구조는 다음과 같다.

\text{TopImages}(l,i) = \operatorname{TopK}_{x \in \mathcal{D}} \sum_p (f*{l,i}(x))_p

즉, 데이터셋 ( $\mathcal{D}$ ) 안에서 layer (l), feature (i)의 patch-wise activation 합이 가장 큰 이미지를 찾는다.

이 과정은 synthetic visualization의 의미를 실제 이미지와 연결한다. 예를 들어 생성 이미지가 자갈처럼 보이고 top-activating ImageNet 이미지에서도 자갈 배경이 활성화된다면, 해당 feature는 gravel/background texture에 반응한다고 해석할 수 있다.

8) ***Patch-wise Activation Map

특정 실제 이미지를 모델에 통과시킨 뒤, feature (i)의 patch별 activation을 이미지 patch grid로 펼친다.

M_{l,i}(p) = (f_{l,i})_p

이 ( $M_{l,i}$ )를 ( $H_p \times W_p$ ) grid로 reshape하면 patch-wise activation map이 된다.

이 map은 saliency map처럼 작동한다. 논문은 layer 5의 어떤 feature가 도마뱀 자체가 아니라 자갈 배경 patch에서 강하게 활성화되는 예시를 제시한다. 또한 여러 내부 layer의 activation map이 image content를 semantic concept 기준으로 segment하듯 나타난다고 보고한다.

이 기법이 TinyViT 연구에 가장 중요하다. CNN feature map과 완전히 같은 것은 아니지만, ViT 내부 patch token activation을 2D grid로 복원하여 layer-wise feature map처럼 볼 수 있기 때문이다.

9) Q/K/V Visualization 실패 분석

논문은 처음에 self-attention 내부의 key, query, value feature를 activation maximization으로 시각화한다. 그러나 Q/K/V visualization은 high-frequency pattern과 adversarial behavior가 지배적이고, early layer와 deep layer 차이도 잘 드러나지 않는다.

논문은 이를 (768)-차원이라는 낮은 공간에 많은 의미가 압축되어 feature가 entangled되기 때문으로 해석한다. 따라서 Q/K/V는 직접 feature visualization 대상으로 적합하지 않고, feed-forward layer의 고차원 GELU activation이 더 적합하다고 결론낸다.

10) Last-layer Token Mixing 분석

논문은 patch-wise activation map을 통해 대부분 layer에서는 spatial information이 유지되지만, 마지막 layer에서는 activation이 이미지 전체에 비교적 uniform하게 퍼지는 현상을 관찰한다.

이를 검증하기 위해 두 가지 실험을 수행한다.

첫째, layer 1–11에서는 CLS token을 제거하고 patch끼리만 attention하게 한 뒤, 마지막 layer에서만 CLS token을 삽입한다. 이 경우에도 ViT-B/16은 ImageNet validation에서 Top-1 (78.61%), Top-5 (94.18%)를 기록한다.

둘째, CLS token에 학습된 classification head를 각 patch token 위에 직접 적용한다. fine-tuning 없이 patch별 token만으로 classification을 수행했을 때 평균 patch accuracy는 Top-1 (75.75%), 가장 좋은 patch는 (80.16%)를 기록한다. 이는 마지막 layer 이후 모든 patch token이 비슷한 global information을 담는다는 해석을 강화한다.

11) Foreground / Background Masking

ImageNet bounding box를 사용하여 foreground-only image와 background-only image를 만든 뒤, ViT와 CNN의 성능 변화를 비교한다.

이 실험은 모델이 object foreground와 background context 중 무엇을 활용하는지 확인하기 위한 것이다.

논문은 ViT가 CNN보다 background-only 조건에서 더 높은 normalized top-5 accuracy를 기록한다고 보고한다. 예를 들어 ViT-B/16의 background 조건 normalized top-5 accuracy는 (31.59), ResNet-50은 (18.69)이다. 이는 ViT가 background/context 정보를 더 효과적으로 활용할 수 있음을 시사한다.

12) Low-pass Filtering

ImageNet test image에서 high-frequency component를 제거하여 ViT와 CNN이 texture 정보에 얼마나 의존하는지 비교한다.

Low-pass filtering은 이미지의 fine texture와 고주파 정보를 줄이는 방식이다. 논문은 ResNet은 high-frequency texture 제거에 크게 영향을 받지만, ViT는 상대적으로 더 robust하다고 보고한다. 이는 ViT가 CNN보다 texture bias가 약하고, shape/context/global structure를 더 활용할 수 있다는 해석으로 연결된다.

13) CLIP-trained ViT Feature Visualization

논문은 일반 supervised ViT와 CLIP supervision을 받은 ViT를 비교한다. CLIP-trained ViT에서는 단순 object feature보다 자연어 caption과 연결된 semantic concept feature가 나타난다.

예를 들어 “from above”, “many”, “before and after”, “music”, “morbidity” 같은 feature가 등장한다. 이는 language supervision이 ViT neuron을 단순 visual detector가 아니라 abstract semantic concept detector로 바꿀 수 있음을 보여준다.

학습 단계와 추론 단계의 알고리즘 흐름

Training 단계

이 논문은 새로운 모델을 학습시키는 방법을 제안하지 않는다. 이미 학습된 pretrained ViT를 분석한다. 따라서 일반적인 의미의 training pipeline은 없다.

다만 feature visualization을 위한 optimization pipeline은 다음과 같다.

pretrained ViT를 불러온다.
모델 weight는 고정한다.
시각화할 layer (l)과 feature index (i)를 선택한다.
입력 이미지 (x)를 random noise로 초기화한다.
(x)에 jitter, ColorShift, Gaussian smoothing 등 augmentation을 적용한다.
augmentation된 이미지들을 ViT에 통과시킨다.
feed-forward layer의 GELU output에서 feature (i)의 patch-wise activation 합을 계산한다.
total variation regularization을 포함한 objective를 최대화하도록 (x)를 gradient ascent로 업데이트한다.
최적화된 이미지 ( $x^*$ )를 해당 feature의 visualization으로 사용한다.

논문 appendix 기준으로 optimizer는 Adam, ( $\beta=(0.5,0.99)$ ), optimization step은 400, batch size는 8, learning rate는 cosine annealing schedule로 (0.1)에서 (0)까지 감소시킨다. Total variation 계수는 ( $\lambda_{tv}=0.00005$ )이다.

Inference 단계

Inference 단계에서는 두 가지 목적의 분석이 수행된다.

첫째, top-activating image retrieval이다.

ImageNet train/validation image를 pretrained ViT에 입력한다.
선택된 layer (l), feature (i)의 activation을 계산한다.
patch-wise activation 합이 가장 큰 이미지를 top-k로 선택한다.
synthetic visualization과 실제 top-activating image를 나란히 비교한다.

둘째, patch-wise activation map 생성이다.

top-activating image를 ViT에 통과시킨다.
특정 feature의 patch별 activation을 추출한다.
patch sequence를 ( $H_p \times W_p$ ) grid로 reshape한다.
원본 이미지 위에 heatmap처럼 표시한다.
해당 feature가 object, background, texture, part 중 어디에 반응하는지 해석한다.

기존 방법론과의 기술적 차별성

이 논문의 차별성은 세 가지이다.

첫째, attention map이 아니라 feed-forward layer의 high-dimensional GELU activation을 시각화 대상으로 삼았다. 이는 ViT 내부 feature visualization에서 어떤 module을 봐야 하는지에 대한 중요한 engineering insight이다.

둘째, synthetic activation maximization 결과만 제시하지 않고, top-activating ImageNet image와 patch-wise activation map을 함께 제공한다. 따라서 생성된 이미지의 의미를 실제 데이터에서 검증할 수 있다.

셋째, ViT의 spatial information 보존 여부를 단순 정성 시각화가 아니라 last-layer token mixing 실험, CLS token isolation, patch classification head 적용 등으로 정량적으로 검증한다.

3. 실험 결과 (Experiments)

사용된 데이터셋 및 평가 환경

주요 분석 모델은 ViT-B/16이다. 또한 appendix에서는 DeiT, CoaT, ConViT, PiT, Swin, Twin 등 총 38개 transformer-based vision model에 대해 대규모 feature visualization을 수행한다.

데이터셋은 주로 ImageNet train/validation set이다. Foreground/background masking 실험에서는 ImageNet bounding box가 있는 이미지를 사용한다. CLIP 분석에서는 CLIP-trained ViT visual backbone을 사용한다.

비교 대상 및 실험 세팅

비교는 크게 네 축으로 구성된다.

ViT 내부 module 비교

Q/K/V representation과 feed-forward GELU representation을 비교한다. Q/K/V는 해석 불가능한 high-frequency/adversarial pattern이 나오고, feed-forward GELU feature는 훨씬 해석 가능한 image feature를 생성한다.

ViT layer depth 비교

초기 layer, 중간 layer, 깊은 layer, 마지막 layer를 비교한다. 초기에는 edge, texture, pattern이 나타나고, 깊은 layer로 갈수록 parts와 objects가 나타난다. 마지막 layer는 spatial map이 uniform해지며 token mixing/global pooling처럼 동작한다.

ViT vs CNN 비교

Foreground/background masking과 low-pass filtering을 통해 ViT와 CNN의 정보 의존성을 비교한다. ViT는 background-only 조건에서 CNN보다 강하고, high-frequency texture 제거에도 상대적으로 강하다.

Supervised ViT vs CLIP-trained ViT 비교

일반 image classification ViT는 object-specific visual feature를 학습하는 경향이 강하다. 반면 CLIP-trained ViT는 caption과 연결되는 preposition, adjective, abstract concept feature를 학습한다.

핵심 성능 및 정성 결과

결과 1. Feed-forward GELU feature가 가장 해석 가능하다

Q/K/V feature visualization은 실패하는 반면, feed-forward layer의 (3072)-차원 GELU activation은 해석 가능한 visual feature를 만든다. 이는 transformer 내부 representation 중 어떤 지점을 시각화해야 하는지에 대한 핵심 결과이다.

결과 2. ViT도 CNN처럼 feature complexity가 layer depth에 따라 증가한다

논문은 ViT-B/32 visualization에서 feature가 edges, textures, patterns, parts, objects 순서로 발전하는 모습을 제시한다. 이는 ViT도 CNN처럼 progressive specialization을 보인다는 근거이다. 다만 CNN과 달리 이 hierarchy는 convolutional locality bias에서 나온 것이 아니라 patch token과 attention/MLP interaction을 통해 학습된 것이다.

결과 3. Patch-wise activation map은 saliency map처럼 작동한다

중간 layer의 특정 feature activation map은 이미지의 특정 semantic region을 segment하듯 나타난다. 예를 들어 자갈 feature는 도마뱀이 아니라 자갈 배경 patch를 활성화한다. 이는 ViT 내부 feature가 patch-wise spatial relationship을 유지한다는 강한 증거이다.

결과 4. 마지막 layer는 learned global pooling처럼 동작한다

ViT-B/16에서 자연 상태 Top-1 accuracy는 (84.20%)이고, CLS token을 마지막 layer에서만 접근하게 한 hacked network도 (78.61%)를 기록한다. 또한 classification head를 개별 patch token에 직접 적용해도 평균 (75.75%), 최고 patch (80.16%)를 기록한다. 이는 마지막 layer 이후 모든 patch token이 비슷한 global information을 담는다는 해석을 뒷받침한다.

결과 5. ViT는 CNN보다 background information을 더 잘 활용한다

Background-only 조건에서 ViT 계열은 CNN 계열보다 높은 normalized accuracy를 보인다. 예를 들어 Top-5 기준 ViT-B/16은 (31.59), ResNet-50은 (18.69)이다. 이는 ViT가 object foreground뿐 아니라 scene context와 background correlation을 더 적극적으로 활용할 수 있음을 의미한다.

결과 6. ViT는 CNN보다 high-frequency texture 의존성이 낮다

Low-pass filtering으로 고주파 정보를 제거했을 때 CNN, 특히 ResNet 계열은 성능이 크게 하락하지만 ViT는 상대적으로 더 견고하다. 이는 ViT가 CNN보다 texture bias가 약하고, 더 global/contextual cue를 사용할 가능성이 있음을 시사한다.

결과 7. CLIP-trained ViT는 abstract semantic concept feature를 학습한다

CLIP-trained ViT에서는 “music”, “morbidity”, “from above”, “many” 같은 feature가 관찰된다. 이는 language supervision이 visual backbone의 neuron을 object-specific detector에서 semantic concept detector로 바꿀 수 있음을 보여준다.

어블레이션 및 해석

이 논문의 핵심 ablation은 “어떤 representation을 시각화해야 하는가”이다.

Q/K/V를 시각화하면 실패하고, feed-forward GELU activation을 시각화하면 성공한다. 이는 ViT 내부 feature가 모두 같은 수준으로 해석 가능한 것이 아니며, high-dimensional MLP space가 feature visualization에 더 적합하다는 것을 보여준다.

또한 last-layer 분석은 “ViT가 모든 layer에서 global representation을 유지한다”는 단순한 직관을 반박한다. 실제로는 중간 layer까지 patch-wise spatial information이 유지되고, 마지막 layer에서 global token mixing이 급격히 일어난다는 구조적 해석을 제공한다.

4. 한계점 및 시사점

방법의 한계

첫째, activation maximization은 여전히 해석자의 주관이 개입된다. 생성된 이미지가 gravel인지, texture인지, object part인지는 사람이 판단해야 한다.

둘째, feature visualization은 causal explanation이 아니다. 어떤 feature가 특정 patch에서 활성화된다고 해서 그 patch가 classification decision에 반드시 결정적이라는 뜻은 아니다. 이를 확인하려면 patch masking, deletion/insertion, counterfactual perturbation이 추가로 필요하다.

셋째, 이 논문은 pretrained ImageNet-scale ViT를 주로 분석한다. 작은 TinyViT, CIFAR-100 scratch training, 또는 제한된 dataset에서는 같은 수준의 semantic feature가 나타나지 않을 수 있다.

넷째, foreground/background masking 실험은 ImageNet bounding box 품질에 의존한다. Bounding box는 foreground와 background를 완벽히 분리하지 못하므로, background leakage가 결과에 영향을 줄 수 있다. 논문도 이 confounding factor를 언급한다.

다섯째, Q/K/V visualization 실패를 “낮은 차원에서 feature가 entangled되었기 때문”으로 해석하지만, 이는 완전히 증명된 것은 아니다. 다른 regularization, attribution, probing method를 적용하면 다른 결론이 나올 가능성도 있다.

연구가 가지는 의미

이 논문은 ViT 내부 시각화 연구에서 중요한 기준점을 제공한다.

첫째, ViT도 CNN처럼 내부 feature를 시각화할 수 있다는 점을 보인다.

둘째, ViT가 spatial inductive bias를 명시적으로 갖지 않음에도 중간 layer까지 patch-wise spatial information을 유지한다는 점을 보여준다.

셋째, 마지막 layer가 learned global pooling처럼 동작한다는 해석은 ViT 내부 representation을 layer-wise로 분석할 때 매우 중요하다.

넷째, TinyViT나 Neural DNA 연구에서는 이 논문을 다음 근거로 사용할 수 있다.

TinyViT의 block별 representation을 분석할 때 attention map만으로는 부족하며, feed-forward layer의 high-dimensional activation과 patch-wise activation map을 함께 봐야 한다. 또한 prior가 block별 plasticity를 바꾼다면, 단순 accuracy뿐 아니라 spatial information 보존, local-to-global transition, background/context reliance, high-activation patch sensitivity가 함께 변하는지 확인해야 한다.

정리하면, 이 논문은 ViT를 CNN feature map처럼 볼 수 있는가라는 질문에 대해 “완전히 동일하지는 않지만, 적절한 representation을 선택하면 가능하다”는 답을 준다. 특히 Q/K/V가 아니라 MLP/GELU activation, synthetic feature visualization, top-activating image, patch-wise activation map을 함께 사용해야 한다는 점이 가장 중요한 기술적 결론이다.

김성윤(Jack)

AI 공부합니다

이전 포스트

[논문 리뷰] THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE, TRAINABLE NEURAL NETWORKS

다음 포스트