Abstract
Cross-Domain Few-Shot Learning(CDFSL)은 대규모 소스 도메인 데이터셋으로부터 지식을 전이하여, 소수의 학습 샘플만을 가진 하위 타깃 도메인 데이터셋에서 학습을 수행하는 것을 목표로 한다. 그러나 강력한 백본 네트워크로서 여러 시각 과제에서 최상위 성능을 달성한 Vision Transformer(ViT)는, 여전히 큰 domain gap에 대한 전이 가능성 측면에서 CDFSL 과제에 충분히 탐구되지 않았다.
본 논문에서는 ViT 기반 CDFSL 과제에서 흥미로운 현상을 발견하였다. 즉, ViT 블록 내의 attention에 단순히 temperature 파라미터를 곱해주는 것만으로, 타깃 도메인에서의 성능이 지속적으로 향상되는 현상이다. 이는 어텐션 맵이 균등한 형태로 약화되더라도 동일하게 나타난다.
이 논문에서는 이러한 현상을 심층적으로 분석하여 그 원인을 해석하고자 한다. 실험을 통해, 우리는 이 현상이 큰 도메인 간격 하에서 쿼리-키 어텐션 메커니즘이 유발하는 비효율적인 타깃 도메인 어텐션을 보정하는 역할을 한다는 해석을 제시한다.
이에 기반하여, 우리는 ViT의 전이 가능성을 향상시키기 위해 쿼리-키 파라미터의 학습을 억제하고 비(非)쿼리-키 파라미터의 학습을 촉진하는 간단하지만 효과적인 CDFSL 방법을 제안한다.
4개의 CDFSL 데이터셋에서 수행한 실험 결과는, 제안한 해석과 방법의 타당성을 검증하였으며, 기존의 최신 방법들을 지속적으로 능가함을 보여준다.
Introduction
심층 신경망은 대규모 데이터셋으로부터 학습할 때 매우 강력한 성능을 보여왔다. 그러나 모든 도메인에 대해 충분한 학습 데이터를 수집하는 것은 항상 어려운 과제이며, 이러한 한계로 인해 Cross-Domain Few-Shot Learning(CDFSL) 과제가 제안되었다.
CDFSL은 먼저 대규모의 사전학습 데이터셋(소스 도메인, 일반 데이터셋, 예: ImageNet)에서 모델을 학습한 후, 소수의 학습 샘플만 존재하는 하위 데이터셋(타깃 도메인, 전문지식 기반 데이터셋, 예: 의료 데이터셋)으로 전이하는 것을 요구한다.
일반적으로 소스와 타깃 데이터셋 간에는 큰 domain gap이 존재하기 때문에, 이러한 전이 학습 및 하위 과제 학습은 어렵다.
Vision Transformer(ViT)는 최근 주목받는 딥러닝 구조로서, 여러 컴퓨터 비전 과제에서 최상위 성능을 달성하였다. 그러나 ViT의 도메인 전이 가능성을 CDFSL 과제에서 심층적으로 연구한 사례는 많지 않다.
본 논문에서는 ViT 기반 CDFSL 과제에서 흥미로운 현상을 발견하였다. 즉, ViT 블록의 어텐션 맵에 1보다 작은 temperature 파라미터 τ를 곱해주기만 해도, 타깃 도메인에서의 few shot 학습 성능이 꾸준히 향상된다는 것이다. 이는 어텐션 맵이 uniform하게 약화되더라도 동일하게 나타나는 현상이다.
이 논문에서는 이러한 현상의 원인을 심층적으로 해석하고자 한다. 우리는 ViT의 쿼리-키 어텐션 메커니즘이 높은 구분력을 가지지만 낮은 전이성을 보여, 타깃 도메인에서는 어텐션이 비효율적으로 작동함을 발견하였다. 이에 따라 온도 조정은 이러한 비효율적인 타깃 도메인 어텐션을 보정하는 역할로 해석된다.
또한 ViT의 비(非) 쿼리-키 구조는 쿼리-키 부분과 상보적인 특성을 보여, 상대적으로 더 높은 전이성을 가지지만 구분력은 낮음을 확인하였다. 이러한 해석과 발견에 기반하여, 우리는 ViT의 전이성을 향상시키기 위해 쿼리-키 파라미터의 학습을 억제하고 비(非)쿼리-키 파라미터의 학습을 촉진하는 새로운 CDFSL 방법을 제안한다.
요약하자면, 본 연구의 주요 기여점은 다음과 같다.
① ViT 기반 CDFSL 방법에서 어텐션 온도의 중요성을 처음으로 규명하였다.
② 실험을 통해, 쿼리-키 어텐션 메커니즘이 큰 도메인 간격에서 전이성이 제한됨을 발견하였으며, 이로 인해 비효율적인 타깃 도메인 어텐션이 발생하고 이를 온도 조정으로 보정할 수 있음을 밝혔다.
③ 이를 바탕으로, 쿼리-키 파라미터의 학습을 억제하고 비(非)쿼리-키 파라미터의 학습을 촉진함으로써 ViT의 전이성을 향상시키는 간단하면서도 효과적인 CDFSL 학습 방법을 제안한다.
④ 다양한 실험을 통해 우리의 해석과 방법론의 타당성을 검증하였으며, 기존의 최신 연구들보다 일관되게 우수한 성능을 달성함을 입증하였다.
Delve into Attention in ViT-based Cross-Domain Few-Shot Learning
ⓐ Preliminaries
Cross-Domain Few-Shot Learning(CDFSL)은 먼저 충분한 학습 샘플을 포함한 일반 데이터셋에서 모델을 학습한 후, 매우 제한된 학습 데이터를 가진 하위 타깃 데이터셋으로 전이시키는 과제이다.
소스 데이터셋을 DS={xiS,yiS}으로 정의하면, 여기서 xiS와 yiS는 각각 i-번째 학습 샘플과 해당 라벨을 의미한다. 마찬가지로, 타깃 데이터셋은 DT={xiT,yiT}으로 정의한다.
타깃 데이터셋 DT에서 학습과 평가를 수행할 때, 공정한 비교를 위해 기존 연구들은 k-way n-shot 패러다임을 사용한다.
즉, 타깃 데이터셋에서 k개의 클래스를 선택하고 각 클래스당 n개의 학습 샘플을 샘플링하여 작은 데이터셋 episode을 구성한다.
모델은 이러한 k⋅n개의 support set으로 학습하며, 같은 k개의 클래스에서 샘플링된 query set에 대해 평가된다.
최근 Vision Transformer(ViT)는 다양한 시각 과제에서 널리 사용되고 있다. ViT는 이미지를 여러 토큰으로 분할하고, 자기-어텐션 메커니즘을 통해 이미지 내의 패턴을 학습한다.
ViT는 어텐션 네트워크와 MLP 네트워크로 구성된 블록을 여러 층으로 쌓은 형태로 표현된다. 이를 식으로 나타내면 다음과 같다.
M(): MLP 네트워크
A(): 자기-어텐션 네트워크
E(): 임베딩 계층
본 연구에서는 ViT 기반의 CDFSL 방법을 중심으로 하위 도메인에서의 일반화 성능을 분석한다.
구체적으로, ViT를 ImageNet으로부터 DINO 방식으로 초기화하고, 소스 데이터셋 DS에서 cross-entropy loss을 이용하여 완전연결층과 함께 학습한다.
ϕ(): FC 기반 분류기
f(): ViT 네트워크
마지막으로, 타깃 도메인에서의 few-shot 학습에는 ProtoNet 구조를 사용하며, 거리 함수 d()를 통해 다음과 같이 예측을 수행한다.
f(): ViT 네트워크
xij: support set의 i번째 클래스의 j번째 학습 샘플
xq: query sample
n: shot 수
ⓑ Interpretation: Attention Temperature Remedies Target-Domain Attentions
ⓑ-1 Intuitive Observation of Ineffective Target-Domain Attentions
temperature 기반 어텐션 조정이 타깃 도메인에서는 성능을 향상시키지만, 소스 도메인에서는 오히려 성능을 저하시킬 수 있는 이유를 분석하기 위해, 우리는 먼저 각 도메인에서의 어텐션 맵을 시각화하였다.
ViT의 백본 네트워크는 마지막 ViT 블록에서 CLS 토큰의 특징을 최종 특징으로 사용하기 때문에, 우리는 마지막 ViT 블록에서 CLS 토큰에 대한 어텐션 맵을 시각화하였다. 이때 어텐션 값이 클수록 붉은색, 작을수록 푸른색으로 표시하였다. 또한, 어텐션 맵의 좌측 상단에 CLS 토큰의 어텐션 값을 함께 표시하였다.
시각화 결과, 소스 도메인에서 학습된 ViT는 의미 있는 객체를 잘 포착하는 능력을 보였지만, 타깃 도메인에서는 항상 잘못된 어텐션 패턴을 나타냈다. 이는 다음 두 가지 양상으로 나타난다.
① CLS 토큰에 과도하게 집중하고(image tokens를 무시), 이미지의 실질적인 정보에는 거의 주의를 주지 않는다. 이는 어텐션 맵의 왼쪽 상단 패치가 붉은색이며, 나머지 이미지 히트맵은 푸른색으로 표현된 첫 번째와 두 번째 열에서 확인된다.
② 이미지에 주의를 주는 경우에도, 의미 있는 객체보다는 노이즈가 많은 넓은 영역에 분산된 주의를 나타낸다.
이상적으로는, 소스 도메인과 타깃 도메인 간에 domain gap이 존재하지 않는다면, 타깃 도메인에서도 소스 도메인처럼 이미지의 의미 있는 영역에 집중하는 어텐션을 보여야 한다.
그러나 위의 현상은 ViT의 어텐션 네트워크가 타깃 도메인에서는 비효율적으로 작동함을 명확히 보여준다.
ⓑ-2 Quantitative Verification of Target-Domain Attentions’ Ineffectiveness
이러한 관찰을 검증하기 위해, 우리는 CLS 토큰의 어텐션 값과 이미지 토큰의 어텐션 희소성을 서로 다른 데이터셋과 블록의 모든 이미지에 대해 정량적으로 측정하였다.
CLS 토큰에 대한 어텐션 값은 다음과 같이 계산된다.
A: CLS 토큰의 어텐션 맵
b: 배치 크기
nh: 헤드 수
nt: 토큰 수
r(): L2 정규화
유사하게, 이미지 어텐션은 L2 정규화된 L1 노름의 평균값으로 측정된다.
소스 데이터셋의 곡선은 항상 타깃 데이터셋들보다 아래쪽에 위치한다. 이는 타깃 데이터셋에서 모델이 평균적으로 CLS 토큰이나 노이즈가 많은 이미지 영역에 더 많은 주의를 기울이고 있음을 의미하며, 타깃 도메인 어텐션의 비효율성을 정량적으로 입증한다.
따라서 우리는 온도 조정을 비효율적인 타깃 도메인 어텐션을 보정하는 방법으로 해석한다.
작은 온도 값을 어텐션 맵에 적용하면, 어텐션 분포가 부드럽게 된다. 예를 들어, 온도를 0으로 설정하면 어텐션 맵은 균등 맵으로 약화된다.
이러한 평탄화 연산은 잘못된 어텐션(CLS 토큰이나 이미지 토큰에 과도하게 집중하는 현상)을 완화하는데 도움이 된다. 왜냐하면 균등한 어텐션은 최소한 잘못된 어텐션보다는 낫기 때문이다. 예를 들어, 균등 어텐션은 모델이 이미지 토큰들로부터 정보를 수집할 수 있게 하지만, 잘못된 어텐션은 모델이 오직 CLS 토큰으로부터만 정보를 얻도록 제한한다.
또한, 이 결과는 온도 보정이 오직 타깃 도메인에서만 성능을 향상시키는 이유를 설명한다. 소스 도메인에서는 이미 의미 있는 영역을 잘 찾아내는 올바른 어텐션 맵이 존재하기 때문에, 추가적인 보정이 필요하지 않다.
ⓒ Why do attention networks get ineffective on target domains?
이제 우리는 ViT의 마지막 블록에 있는 어텐션 네트워크를 절제하여, 이 모듈들이 유발하는 성능(5-way 1-shot 정확도)과 도메인 유사도를 분석하였다.
도메인 유사도는 CKA (Centered Kernel Alignment) 유사도로 측정되며, 서로 다른 도메인의 이미지에서 특징을 추출하고, 채널 차원을 맞추어 소스 도메인과 각 타깃 데이터셋 간의 CKA 유사도를 계산한다. 도메인 유사도가 클수록 도메인 특유 정보가 적음을 의미한다.
판별력과 전이성 사이에는 트레이드오프가 존재하므로,
우리는 Table 1의 소스 도메인 정확도를 판별력의 지표로, Table 2의 평균 도메인 유사도를 전이성의 지표로 사용하였다.
Table 1의 타깃 도메인 평균 정확도는 이 트레이드오프의 결과를 반영한다.
Input Tokens는 어텐션 네트워크의 입력 특징을 의미하고, SA (Self-Attention)은 어텐션 네트워크의 출력을 의미하며, 이는 기본 ViT 자기 어텐션 모듈이다.
Input Tokens에 SA를 추가하면, Table 1에서 소스 도메인 정확도가 상승한다. 그러나 Table 2에서 CKA 유사도는 크게 감소한다. 이는 SA가 전이성보다는 판별력 측면에 가깝게 작용하며, 따라서 타깃 도메인 정확도를 낮추는 결과를 초래함을 의미한다.
다음으로, 우리는 자기 어텐션 메커니즘이 모델링하는 토큰 간 관계를 연구하였다. 기본 쿼리-키 관계를 세 가지 단순한 관계로 대체하였다.
① Identity 관계 (토큰을 병합하지 않음)
② Cosine 관계 (softmax를 통해 코사인 유사도에 따라 병합)
③ Average 관계 (모든 토큰을 균등하게 병합, 온도를 0으로 설정한 것과 동등)
그 결과, Identity SA는 소스 및 타깃 정확도가 낮지만 도메인 유사도는 높게 나타났다. 이는 토큰 병합이 판별력에 중요한 요소임을 의미한다. 따라서 타깃 도메인 어텐션이 주로 CLS 토큰에 집중할 경우, 이미지 토큰 병합이 무시되어 성능이 저하된다.
Identity SA를 Cosine SA 또는 Average SA로 대체하면, 모든 데이터셋에서 성능이 향상되었다. 소스 데이터셋에서는 기본 SA보다 조금 낮지만, 타깃 데이터셋에서는 훨씬 높은 정확도를 보였다. 또한 도메인 유사도는 기본 SA보다 높지만 Identity SA보다는 낮게 나타났다. 이는 다음과 같이 해석된다.
① 토큰 관계의 모델링은 도메인 정보와 판별력을 함께 포함하므로, 소스 도메인에서는 도움이 되지만 도메인 유사도를 낮춘다. 타깃 도메인 정확도의 상승은 판별력 향상이 전이성 감소보다 크다는 것을 의미한다.
② 기본 쿼리-키 관계는 가장 많은 도메인 정보와 판별력을 포함하며, 그로 인해 소스 도메인 성능은 가장 크게 상승하지만, 도메인 유사도는 가장 크게 감소한다. 따라서 쿼리-키 관계는 오히려 타깃 도메인 성능을 저하시킨다.
결과적으로, 비효율적인 타깃 도메인 어텐션은 주로 어텐션 네트워크의 자기 어텐션 메커니즘에 기인한다고 결론지을 수 있다. 판별력과 전이성 사이의 트레이드오프를 감안하면, 토큰 관계의 모델링이 타깃 도메인 일반화에 항상 해로운 것은 아니다. 그러나 쿼리-키 어텐션 메커니즘은 전이성이 훨씬 낮은 경향이 있으며, 일부 선행연구에서도 이 메커니즘의 과적합 경향이 부분적으로 보고된 바 있다. 따라서 이 메커니즘은 타깃 도메인 일반화를 저해하고 비효율적인 타깃 도메인 어텐션을 초래할 수 있다.
ⓓ Handle the Ineffective Target-Domain Attention
Table 1과 2의 Input Tokens과 Average SA의 행은 더 높은 도메인 유사도와 양호한 타깃 도메인 성능을 보인다. 비록 이 경우 소스 도메인 성능은 제한적이지만, 이러한 결과는 쿼리-키 어텐션의 특징과 비교했을 때, 이 특징들이 판별력과 전이성 사이의 트레이드오프에서 전이성 쪽에 더 치우쳐 있음을 의미한다.
이러한 가설을 검증하기 위해, 우리는 Input Tokens의 활성화 맵을 시각화하였다. 그 결과, CLS 토큰에서 과도한 활성화가 없으며, 서로 다른 도메인의 이미지에서도 대략적인 객체의 윤곽을 반영한다는 것을 관찰하였다. 비록 완벽하지는 않지만, 이러한 특성은 의미 있는 단서를 제공한다.
또한, 이러한 특징들에 대해 이미지 토큰 밀도와 CLS 토큰 값을 측정하였다. 이는 norm(A)와 V(A)와 유사하며, 다음과 같이 정의된다.
M: MLP의 출력
r(M): 각 토큰의 L2 정규화된 평균 활성화 값
우리는 쿼리-키 특징이 판별력은 높지만 전이성은 낮으며, 반대로 비(非) 쿼리-키 특징은 전이성은 높지만 판별력은 낮다고 결론지을 수 있다. 이는 ViT에서 비 쿼리-키 파라미터의 학습을 장려하고, 쿼리-키 파라미터의 학습을 억제해야 함을 시사한다.
ⓔ Conclusion and Discussion
셀프 어텐션 메커니즘은 ViT의 핵심 설계이며, 이 중 쿼리-키 어텐션 메커니즘은 대규모 학습 데이터를 잘 적합시킬 수 있는 능력을 가진다.
그러나 이러한 특성은 domain gap이 큰 상황에서 전이성을 제한하게 되어, 결과적으로 타깃 도메인에서의 어텐션이 비효율적으로 작동하게 된다. 따라서, 온도 조정을 통해 어텐션 맵을 보정할 필요가 있다. 이는 잘못된 어텐션 맵보다는 uniform 어텐션 맵이 더 낫다는 의미이다.
쿼리-키 어텐션과 비교할 때, ViT 내의 비(非) 쿼리-키 구성요소는 쿼리-키 구성요소보다 전이성은 높지만 판별력은 낮은 경향을 보인다. 이러한 관찰은 ViT의 일반화 성능을 향상시키기 위해, 비 쿼리-키 부분의 학습을 장려하고, 쿼리-키 부분의 학습을 억제해야 한다는 통찰을 제공한다. 특히 이는 소스 도메인 학습 단계에서 적용되어야 한다.
Method
위의 분석을 바탕으로, 우리는 ViT의 전이성을 향상시키기 위한 간단하지만 효과적인 방법을 추가로 제안한다. 이 방법은 소스 도메인 단계와 타깃 도메인 단계의 두 단계로 나눌 수 있다.
ⓐ Source-Domain Attention Abandonment
기본적인 쿼리-키 어텐션이 domain gap에 취약하다는 것이 확인되었기 때문에, 우리는 소스 도메인 학습 과정에서 비(非) 쿼리-키 부분을 강화하는 것을 목표로 한다.
이를 위해, 소스 도메인 학습 중 모든 ViT 블록의 쿼리-키 어텐션을 확률적으로 비활성화하도록 제안한다. 구체적으로는 온도를 0으로 곱함으로써 어텐션을 무작위로 균일한 맵으로 다운그레이드한다. 이는 다음과 같이 수식으로 표현된다.
A'(x): 정규화되지 않은 어텐션 맵
τS(p): 이항 분포에서 샘플링된 스칼라 값
p: 0이 될 확률을 의미하며, 일반적으로 0.8로 설정
이러한 연산은 쿼리-키 어텐션 파라미터의 학습을 억제한다. 쿼리-키 어텐션은 확률 (1−p)로 순전파에 적용된다. 반대로, 평균 어텐션은 확률 p로 적용되므로, 비 쿼리-키 파라미터의 학습을 장려한다.
또한, 균일한 맵에서 CLS 토큰의 어텐션 값은 1/(토큰의 개수)로 매우 작기 때문에, CLS 토큰에 대한 과도한 주의 집중을 억제할 수 있다. 주의할 점은, 본 방법은 Dropout과 다르다는 것이다.
① Dropout은 어텐션 맵의 개별 요소에 대해 수행되지만, 우리의 방법은 전체 어텐션 맵을 균일 맵으로 변환한다.
② Dropout은 softmax 이후에 수행되지만, 우리의 방법은 softmax 이전 단계에서 적용된다.
ⓑ Target-Domain Attention Adjustment
타깃 도메인 데이터셋의 파인튜닝 및 평가 단계에서는 기본적인 쿼리-키 어텐션이 여전히 네트워크 내에서 사용된다. 그러나 우리는 ViT 블록마다 사전에 정의된 하이퍼파라미터 τT를 설정하여 비효율적인 어텐션 맵의 영향을 완화한다. 이러한 연산은 다음과 같이 표현된다.
마지막으로, 기존 연구들을 따라 타깃 도메인 에피소드에 대해 프로토타입 기반 분류를 수행하거나, 각 에피소드의 support set에서 모델을 파인튜닝하여 분류기 기반 분류를 수행한다.
Experiments
ⓐ Datasets
기존 연구들을 따라, 우리는 miniImageNet을 소스 데이터셋으로 사용하고, CropDiseases, EuroSAT, ISIC2018, ChestX의 4개 교차 도메인 데이터셋을 타깃 데이터셋으로 사용하였다.
모든 데이터셋은 k-way n-shot 분류 방식을 사용하여 few-shot 학습 및 평가를 수행하였다.
miniImageNet은 대규모 ImageNet 데이터셋의 하위 집합으로, 총 100개 카테고리와 60000장 이미지로 구성되어 있으며, 이 중 64개 카테고리가 학습에 사용되었다.
CropDiseases는 농업 질병 인식을 위한 데이터셋으로,
총 38개 카테고리와 43,456장 이미지로 구성되어 있다.
EuroSAT은 토지 분류를 위한 위성 이미지 데이터셋으로, 10개 클래스와 27000장 이미지로 구성되어 있다.
ISIC2018은 피부 병변 인식을 위한 데이터셋으로, 7개 카테고리와 10015장 이미지를 포함한다.
ChestX는 흉부 X-ray 이미지 데이터셋으로, 7개 카테고리와 25847장 이미지를 포함한다.
ⓑ Implementation Details
우리는 ViT-S를 백본 네트워크로 사용하였으며, DINO의 ImageNet 사전학습 결과를 초기화로 사용하였다.
소스 도메인 학습 동안에는 모든 ViT 블록에 대해 어텐션 포기를 적용하였다.
Adam 옵티마이저를 사용하였으며, 분류기의 학습률은 0.001, 백본 네트워크의 학습률은 10⁻⁶으로 설정하였다.
타깃 도메인 few-shot 평가 단계에서는 첫 두 개 블록의 온도를 0.3으로 설정하고, ID가 4보다 큰 블록의 경우 CLS 토큰의 어텐션 값을 0으로 설정하였다.
ⓒ Comparison with State-of-the-Art Works
표 3과 표 4는 각각 1-shot과 5-shot 설정에서의 최신 기법과의 비교 결과를 보고한다. 별표(*)는 전이적 설정을 의미한다.
모든 실험 결과에서, 제안된 방법은 모든 설정에서 평균적으로 최고 성능을 달성하였으며, 거의 모든 데이터셋에서 가장 높은 정확도를 기록하였다. 이는 제안된 방법이 domain gap를 효과적으로 줄이고,
모델의 전이성을 향상시킴을 보여준다.
⚙️ 전이적 설정(Transductive Setting)이란?
비전이적 설정(Inductive Setting) - 테스트 시 support set만 보고 각 클래스의 프로토타입을 계산한 뒤, query 이미지를 각각 독립적으로 분류함.
전이적 설정(Transductive Setting) - 테스트 시 support set + query set 전체를 동시에 고려해서, 쿼리 샘플들 간의 분포나 상관관계를 이용해 분류 성능을 높임.
Conclusion
본 논문에서는 ViT 기반 CDFSL 과제에서 온도 기반 어텐션 조정과 관련된 하나의 현상을 발견하고, 이에 대해 심층적으로 분석 및 해석을 수행하였다.
우리는 이 현상을 기본 쿼리-키 어텐션 메커니즘으로 인해
발생하는 비효율적인 타깃 도메인 어텐션을 보정하는 과정으로 해석한다. 이를 바탕으로, 우리는 CDFSL을 위한 새로운 방법을 추가로 제안하였다. 실험 결과는 제안된 접근법의 이론적 근거와 효과성을 검증하였다.
