[논문 리뷰] Attention and Beyond: Explainability Techniques for Vision Transformers

김성윤(Jack)·2026년 6월 29일
LLMXAIsurvey

논문 리뷰

목록 보기
57/60

0. 3줄 요약

  • 논문 정보: "Attention and Beyond: Explainability Techniques for Vision Transformers" (주저자: Wadie El Amrani, 발표 연도: 2024/2025년 추정, 소속: Made In Tracker 및 UT3).
  • 핵심 목적 및 제안 방법: 비전 트랜스포머(ViT)의 블랙박스 특성을 해석하기 위해, 기존에 파편화되어 있던 설명 가능 인공지능(XAI) 기법들을 사용자의 의도(What, Where, Why)에 따라 4가지 범주로 체계화한 계층적 분류 체계(Taxonomy)를 제안함.
  • 기술적 차별성 및 주요 성과: 단순한 어텐션 맵 시각화를 넘어 개념 기반(Concept-Based), 텍스트 기반, 그리고 모델 구조 자체를 수정하는 설명 학습(Learning to Explain, 예: Sparse Autoencoder) 기법까지 최신 동향을 통합 분석하였으며, 향후 대형 다중 모달 시스템으로의 XAI 확장 가능성을 제시함.

1. 배경 및 문제 정의

연구가 등장한 배경

트랜스포머 아키텍처는 자연어 처리(NLP)를 넘어 컴퓨터 비전 분야에서도 합성곱 신경망(CNN)을 능가하는 성능을 보이며 비전 트랜스포머(ViT)의 형태로 객체 탐지 및 분할 등 주요 태스크의 표준으로 자리 잡고 있다. 나아가 LLaVA, Flamingo와 같은 시각-언어 다중 모달 AI 시스템의 핵심 구성 요소로 활용되고 있다. 하지만 의료, 자율주행, 금융 등 안전과 윤리가 직결되는 고위험 산업군에서 AI를 배포할 때, 모델의 투명성과 신뢰성을 확보하는 것은 필수적이다.

기존 방법의 핵심 접근 및 한계점

기존의 설명 가능성(XAI) 연구는 주로 전통적인 머신러닝이나 CNN 기반의 딥러닝 아키텍처에 집중되어 있었다. 트랜스포머의 경우, 초기 연구자들은 모델 내부의 어텐션 가중치(Attention weights)를 해석의 주요 지표로 삼았으나, 이것이 실제 모델의 의사결정을 온전히 설명할 수 있는지에 대한 논쟁(Attention is not explanation)이 지속되었다.
또한 기존의 ViT XAI 서베이 논문들은 방법론 간의 상호 연결성과 진화 과정을 설명하는 계층적 분류 체계를 확립하지 못했으며, 2024년 이후 등장한 최신 해석 기법들을 포함하지 못하는 파편화된 한계를 지니고 있었다.

해결하려는 핵심 문제

본 논문은 이러한 한계를 극복하기 위해 ViT에 특화된 최신 설명 가능성 기법들을 총망라하고, '모델이 어디를 보는가(Where)', '무엇을 보는가(What)', '왜 그렇게 판단했는가(Why)'라는 인간 중심의 직관적인 질문을 기준으로 해석 기법을 구조화하는 계층적 프레임워크를 제안하여 기술적 공백을 메우고자 한다.

2. 제안 방법 (Method)

본 논문은 리뷰 논문으로서 특정 단일 알고리즘을 제안하는 것이 아니라, ViT의 내부 수학적 메커니즘을 기반으로 XAI 기법이 어떻게 데이터를 변환하고 추출하는지를 체계화한 프레임워크를 제안한다.

전체 방법의 핵심 아이디어

ViT의 복잡한 의사결정 과정을 해석하기 위해 방법론을 4가지 범주로 분류한다: 1) 특성 기여도(Feature Attribution), 2) 개념 기반(Concept-Based), 3) 텍스트 기반(Text-Based), 4) 설명 학습(Learning to Explain). 이 분류는 데이터가 모델의 잔차 스트림(Residual stream)을 통과하며 변환되는 과정에 직접적으로 관여하거나, 사후적으로 이를 역추적하는 방식으로 나뉜다.

입력 데이터의 표현 및 전처리 방식

ViT는 입력 이미지를 N×NN \times N 크기의 패치(patches)로 분할한 뒤, 이를 선형 투영(Linear projection)하여 dd-차원의 토큰 임베딩 시퀀스 x1,...,xTx_1, ..., x_T로 변환한다. 분류 태스크의 경우, 전체 이미지의 전역적 의미(global semantics)를 포착하기 위해 학습 가능한 클래스 토큰인 [CLS] 토큰이 추가된다. 이 데이터는 트랜스포머 블록을 통과하면서 지속적으로 원래 상태와의 가산적 연결(additive connection)을 유지하는 잔차 스트림을 형성한다.

알고리즘의 세부 구조 및 핵심 수식

입력된 토큰 xix_i는 계층 정규화(LayerNorm)와 다중 헤드 어텐션(Multi-Head Attention, MHA), 피드포워드 네트워크(FFN)를 거치며 다음과 같이 단계적으로 변환된다:

ti1=LayerNorm(xi)t_{i}^{1} = \text{LayerNorm}(x_i)
ti2=MultiHeadAttention(ti1,{x1,...,xN})t_{i}^{2} = \text{MultiHeadAttention}(t_{i}^{1}, \{x_1, ..., x_N\})
ti3=ti2+xit_{i}^{3} = t_{i}^{2} + x_i

각 어텐션 헤드는 토큰 간의 상호작용을 계산하며, 이때 쿼리(Query), 키(Key), 값(Value) 행렬을 통해 어텐션 가중치 αijc\alpha_{ij}^c를 산출한다:

αijc=softmax(qic⋅kjcdk)\alpha_{ij}^c = \text{softmax} \left( \frac{q_i^c \cdot k_j^c}{\sqrt{d_k}} \right)

여기서 qic=xiWQcq_i^c = x_i W_Q^c, kjc=xjWKck_j^c = x_j W_K^c, vjc=xjWVcv_j^c = x_j W_V^c로 계산되며 WQc,WKc,WVcW_Q^c, W_K^c, W_V^c는 학습 가능한 가중치 행렬이다. XAI 기법들은 이 [CLS] 토큰과 어텐션 가중치(αijc\alpha_{ij}^c), 그리고 값 벡터(vjcv_j^c) 사이의 역학 관계를 추적하여 모델의 결론을 도출해낸다.

학습(Training) 및 추론(Inference) 단계의 동작 파이프라인

XAI 기법의 적용 시점에 따라 모델의 파이프라인은 크게 '사후 설명(Post-hoc)'과 '설명 내재화(Ad-hoc / Learning to Explain)'로 구분되어 작동한다.

  1. 사후 설명 파이프라인 (추론 단계 중심):
    모델 학습이 완료된 후 추론 과정에서 도출되는 기울기(Gradient)나 어텐션 가중치를 분석한다. 예를 들어, PACE와 같은 개념 기반 기법은 추론 시 얻은 패치 임베딩을 가우시안 혼합 모델을 사용해 데이터셋-수준, 이미지-수준, 패치-수준의 다차원적 개념으로 사후 군집화(Clustering)한다.
  2. 설명 학습 파이프라인 (학습+추론 단계 결합):
    학습 단계에서부터 네트워크 구조를 변형하여 해석 가능성을 내재화한다. ProtoViT의 경우 학습 시 입력 패치 토큰과 학습된 '프로토타입(Prototype)' 템플릿을 지속적으로 비교하도록 훈련된다. 최근 대두된 희소 오토인코더(PatchSAE)의 경우, 학습이 완료된 ViT(Frozen ViT)의 활성화 맵 중간에 희소성(Sparsity) 제약 조건을 가진 SAE 레이어를 추가로 학습시켜, 추론 시 단일 의미를 지니는(monosemantic) 특징만을 활성화하도록 파이프라인을 엔지니어링한다.

기존 방법론과의 기술적 차별성

기존 서베이들이 LRP나 Grad-CAM 같은 입력 픽셀 수준의 '히트맵(Heatmap)' 도출 기법들에 머물렀다면, 본 연구는 최신 ViT 아키텍처의 기하학적 유연성을 반영하여 변형 가능한 프로토타입 기반 접근법과 SAE를 활용한 특징 공간의 정렬(Feature Space Alignment) 등 훨씬 높은 차원의 의미론적 해석 기법을 체계화했다는 점에서 구조적 차별성을 지닌다.

3. 실험 결과 (Experiments)

본 서베이 논문은 직접적인 모델 학습 실험 대신, 실제 환경(Real-world applications)에 ViT 설명 가능성 기법이 적용된 사례와 정량적 평가에 대한 실험 분석을 다루고 있다.

실제 데이터셋 적용 및 임상 평가

의료 영상 분야에서는 림프절 전이 조직병리학 이미지 및 흑색종(Melanoma) 피부암 데이터를 활용해 ViT 설명 기법들을 평가하였다. 병리 이미지를 통한 림프절 전이 분류 연구에서는 Attention Rollout, Integrated Gradients, RISE, ViT-Shapley 등의 방법론을 비교하였다.

핵심 성능 결과 및 해석

임상 해석 환경에서는 단순 어텐션 기반 기법들보다 RISE나 ViT-Shapley 같은 제거 기반(Removal-based) 혹은 섭동 기반(Perturbation-based) 방법론이 임상적으로 더 정확하고 아티팩트(Artifact)가 없는 신뢰할 수 있는 히트맵을 생성하는 것으로 나타났다. 특히 ViT-Shapley는 빠른 실행 속도와 실용적인 히트맵을 제공하여 의료 AI 워크플로우에 쉽게 통합될 수 있음이 확인되었다.

XAI 성능 자체에 대한 평가 (Ablation 및 지표 분석)

설명 가능성 기법 자체가 모델의 실제 의사결정 원리를 얼마나 충실하게 반영하는지(Faithfulness)를 검증하기 위해 SaCo(Salience-guided Faithfulness Coefficient)라는 새로운 정량적 지표가 사용된 연구가 분석되었다. 기존 평가 지표들은 고도화된 설명 방법과 무작위 기여도 할당(Random attributions)을 명확히 구분하지 못하는 한계가 있었으나, SaCo를 통해 설명 방법론들의 실제 신뢰성을 감별해 낼 수 있었다.

4. 한계점 및 시사점

제안 방법의 명확한 한계

본 논문이 제시한 분류 체계(Taxonomy)는 매우 포괄적이나, 방법론들을 객관적으로 비교하고 우위를 가릴 수 있는 '전용 평가 레이어(Dedicated evaluation layer)'가 아직 완벽하게 구축되지 않았다는 뚜렷한 한계가 존재한다. 모델의 실제 추론 과정과 설명 내용이 얼마나 일치하는지를 엄밀히 측정하는 평가 체계가 여전히 부족하다.

실제 환경 적용 시 고려해야 할 엔지니어링적 과제

설명 학습(Learning to Explain) 기법 등을 통해 XAI를 내재화할 경우, 설명의 디테일(Interpretability)을 높이면서도 모델 본연의 예측 정확도(Accuracy)를 유지해야 하는 기술적 트레이드오프(Trade-off) 문제가 발생하므로 실무 배포 시 신중한 아키텍처 튜닝이 요구된다. 또한 언어 모델과 비전 모델 전반에 나타나는 '다의적 특징(Polysemanticity, 하나의 뉴런이 여러 개념에 반응하는 현상)'을 완전히 분리해내기 위해 SAE와 같은 고도의 엔지니어링이 추가로 요구된다.

이 연구가 가지는 의미 및 향후 연구 방향

이 연구는 단순히 컴퓨터 비전 분야의 좁은 의미의 XAI를 넘어, LLaVA 등 텍스트와 이미지를 결합하여 추론하는 대형 다중 모달 모델(LMMs)을 해석하기 위한 근간(First step)을 마련했다는 데 큰 의의가 있다. 향후 고위험군 애플리케이션(의료, 보안 등)에서 투명성 검증 및 GDPR 등 윤리/규제 준수를 충족하기 위한 표준 해석 가이드라인으로 활용될 확장 가능성을 지닌다.

profile
김성윤(Jack)
AI 공부합니다
이전 포스트

[논문 리뷰] Vision Transformer Visualization: What Neurons Tell and How Neurons Behave?

다음 포스트

[논문 리뷰] DASViT: Differentiable Architecture Search for Vision Transformer

0개의 댓글