Abstract
few-shot recognition(FSR)은 downstream 과제에서 각 개념에 대해 소수의 라벨 예제만으로 분류 모델을 학습하는 것을 목표로 한다. 본 연구에서는 사전 학습된 Vision-Language Model(VLM)을 활용하여 FSR을 해결하는 방법을 개발한다. 특히, VLM의 사전 학습 데이터와 같은 공개 데이터를 검색하여 downstream 과제에 더 잘 적합한 모델을 학습하는 retrieval-augmented learning(RAL)을 탐구한다. RAL은 zero-shot recognition에서는 연구된 바 있으나, FSR에서는 거의 탐구되지 않았다. 비록 FSR에 RAL을 적용하는 것이 직관적으로는 단순해 보일 수 있으나, 우리는 흥미롭고 새로운 도전 과제와 기회를 관찰하였다.
첫째, 다소 놀랍게도, 대량의 검색 데이터를 활용하여 VLM을 파인튜닝하는 것은 최신 zero-shot 방법보다 성능이 낮았다. 이는 검색된 데이터의 불균형 분포와 downstream 과제의 소수 샘플과의 도메인 차이 때문이다.
둘째, VLM을 few-shot 데이터에만 파인튜닝하는 것만으로도 기존의 FSR 방법들을 크게 능가하며, 검색 데이터와 few-shot 데이터를 혼합해 파인튜닝하면 더욱 우수한 결과를 얻을 수 있다는 것이다.
셋째, 불균형 분포와 도메인 격차 문제를 완화하기 위해 우리는 Stage-Wise retrieval-Augmented fineTuning(SWAT)을 제안한다. SWAT은 1단계에서 혼합 데이터로 모델을 end-to-end 파인튜닝하고, 2단계에서 소수 샘플 데이터만을 사용하여 분류기를 재학습한다. 아홉 개의 대표적인 벤치마크에 대한 광범위한 실험을 통해 SWAT이 기존 방법보다 6% 이상 높은 정확도를 달성함을 입증하였다.
Introduction
Few-shot recognition(FSR)은 downstream task에서 각 개념마다 소수의 예시만을 가지고 모델을 학습하는 것을 목표로 하며, 이때 데이터 annotation 비용은 매우 높을 수 있다.
FSR의 대표적인 응용중 하나는 automated data annotation이다. 즉, annotation guideline에서 제공하는 각 개념의 몇 가지 예시만 보고 기계가 자동으로 라벨링을 학습하도록 하는 것이다.
본 연구에서는 이러한 data annotation을 위해 FSR 문제 해결에 집중하며, 특히 Vision-Language Model(VLM)와 웹 규묘의 데이터를 활용하는 방법을 제안한다.
ⓐ Status Quo
기존 연구에서 FSR은 주로 parameter-efficient finetuning이나, 사전학습된 모델의 robustness/generalization을 연구하기 위해 사용되었다. 따라서 대부분의 FSR 방법은 frozen pretrained backbone 위에서, classifier head나 prompt tokens과 같이 소수의 파라미터만 학습하는 데 초점을 맞추었다.
하지만 적은 파라미터 학습에 치중하면서 정확도 자체를 우선시하지 않았기 때문에, 실제 적용에서는 성능 한계가 존재한다. 또한 최근 연구에 따르면, 다수의 FSR 방법들이 하이퍼파라미터 튜닝을 위해 비현실적으로 큰 validation set을 가정한다는 문제가 지적되었으며, 이는 실용적 활용성을 떨어뜨린다.
우리는 automated data annotation이라는 현실적인 동기를 가지고 FSR 문제를 다룬다. 비현실적으로 큰 validation set에 의존하지 않고, 단지 소수의 파라미터만 학습하는 방식에 제한되지 않고 높은 정확도를 최적화하는 것을 목표로 한다.
ⓑ Motivation
FSR 연구는 다양한 동기에서 출발한다. 기존의 많은 FSR 방법들은 사실상 파라미터 효율적인 파인튜닝 연구나, 학습된 모델의 강건성 및 일반화를 탐구하는 데 초점을 두어 왔다. 그러나 이런 동기 설정은 비현실적으로 큰 validation set을 이용해 hyperparameter tuning을 수행하는 잘못된 실험 설정으로 이어졌다.
이에 반해, 본 논문은 data annotation이라는 실제적인 응용 동기에서 출발한다. 즉, 큰 validation set을 사용하지 않고, 소수의 파라미터만 학습하는 효율성보다 정확도 향상을 우선한다. 이러한 관점은 기존의 PEFT 중심 연구를 넘어 FSR 연구의 범위를 확장시킨다. 흥미롭게도, 사전 학습된 visual encoder를 few-shot 데이터에 단순히 fine-tuning 하는 것만으로도 기존 FSR 방법들을 뛰어넘을 수 있으며, overfitting 문제도 발생하지 않았다.
또한, 대부분의 FSR 방법은 오픈소스 VLM을 단순히 adapting하는 데 초점을 맞추지만, 본 연구는 한발 더 나아가 VLM의 pretraining data 자체를 공개 데이터로 보고, 이를 활용한 retrieval-augmented learning (RAL)을 통해 라벨 부족 문제를 해결한다. RAL은 zero-shot recognition에서는 이미 효과적인 접근법으로, VLM을 이용해 개념 관련 데이터를 검색하고, 그 데이터 위에 분류기를 학습하는 방법이다. 본 논문은 이러한 RAL을 처음으로 FSR에 확장 적용하며, 단순해 보이지만 새롭고 흥미로운 도전 과제와 기회를 제시한다.
ⓒ Challenges and Insights
기존의 FSR 방법들이 소수의 파라미터만 학습하는 것과 달리, 우리는 먼저 사전학습된 전체 모델을 few-shot 데이터에 대해 full finetuning 하는 것을 탐구했다. 놀랍게도, 이 단순한 방법만으로도 이전의 FSR 방법들을 크게 능가했으며, few-shot 데이터 규모가 작기 때문에 계산 비용도 괜찮았다.
다른 한편으로, 최신 zero-shot recognition 방법들은 retrieval-augmented learning(RAL) 전략을 채택하는데, 이는 VLM의 pretraining set에서 관련 예시를 검색해와 그 위에서 classifier를 학습하는 방식이다. 우리는 RAL을 FSR에 적용하여 검색 데이터만 사용했을 때를 실험했는데, classifier 학습과 full finetuning 모두 non-RAL ZSR 방법보다 근소하게 나을 뿐이었고, 심지어 다른 FSR 방법들보다는 성능이 떨어졌다. 훨씬 더 많은 검색 데이터를 사용했음에도 결과는 같았다. 이 성능 저하의 두 가지 주요 원인은 다음과 같다.
① 검색 데이터의 불균형 분포
② 검색 데이터와 few-shot 예시 사이의 도메인 격차
이 두 문제를 해결하기 위해 우리는 Stage-Wise retrieval-Augmented fineTuning (SWAT) 이라는 단순한 방법을 제안한다. SWAT은 1단계에서 검색 데이터와 few-shot 데이터를 혼합하여 VLM의 visual encoder를 finetuning하고, 2단계에서 few-shot 데이터만으로 classifier를 재학습한다.
이러한 단계적 학습은 기존의 decoupling learning strategy와 유사하다. 즉, 먼저 불균형 데이터 전체를 활용해 feature representation을 학습한 뒤, balancing 기법으로 classifier를 학습하는 방식이다. 또한 SWAT은 transfer learning 관점에서도 도메인 격차를 완화한다. 즉, 더 큰 소스 도메인 데이터에서 사전학습을 수행하고, 이후 타깃 도메인 데이터에서 finetuning하는 것이다.
ⓓ Contributions
본 연구의 주요 기여는 다음 세 가지이다.
① 현실적 응용을 위해, 학습 파라미터 수를 제한하지 않고 정확도 향상에 집중하는 FSR 방법을 개발하였다. 이로써 FSR 연구의 영역을 확장하였다. 특히, VLM의 visual encoder를 few-shot 데이터에 단순 fine-tuning 하는 것만으로도 기존 FSR 방법 대비 3% 이상 정확도 향상을 확인하였다.
② 처음으로 retrieval-augmented learning (RAL)을 FSR에 적용하였다. RAL은 zero-shot recognition (ZSR)에서는 널리 연구된 방법이지만, FSR에서는 거의 탐구되지 않았다. 단순히 ZSR에서 FSR로 확장하는 것처럼 보이지만, 우리는 검색 데이터의 불균형 분포와 few-shot 데이터와의 도메인 차이라는 새로운 과제를 발견하였다.
③ 이를 해결하기 위해 Stage-Wise retrieval-Augmented fineTuning (SWAT)이라는 간단한 방법을 제안하였다. SWAT은 앞서 언급한 문제들을 효과적으로 완화하며, 9개 벤치마크에서 기존 최신 방법보다 6% 이상 성능 향상을 달성하였다.
Related Work
ⓐ Few-Shot Recognition (FSR)
초기의 FSR 연구들은 metric learning, meta learning, transductive learning, 그리고 GNN(Graph Neural Network) 기반 방법들을 활용했다. 이 접근법들은 보통 대규모 meta-training set으로 모델을 사전학습한 후, 특정 task의 few-shot 데이터로 fine-tuning 하여 강한 일반화 성능을 얻는 것을 목표로 했다.
최근 연구들은 web-scale 데이터로 사전학습된Vision-Language Models (VLMs)을 FSR에 활용하고 있다. 특히, frozen visual encoder를 그대로 두고, prompt engineering이나 lightweight adapter를 학습하여 VLM의 뛰어난 zero-shot 전이 능력을 활용한다. 이런 방법들은 여러 benchmark dataset에서 최신 성능을 달성했으나, 대부분 parameter-efficient finetuning (PEFT)에 집중했으며, 실제로는 더 많은 레이어를 finetune 하면 더 나은 성능을 낼 수 있음에도 불구하고 이를 제한한다.
게다가 최근 연구들에 따르면, 이러한 접근들은 비현실적으로 큰 validation set을 hyperparameter tuning에 사용하여 실제 응용 가능성이 떨어진다고 지적된다. 결국 FSR이 PEFT 실험이나 모델의 robustness/generalization 연구를 위한 대리 과제로만 활용되어 왔다는 점에서 한계가 있었다.
이에 반해, 본 논문은 현실적 응용(데이터 라벨링 자동화)이라는 동기에서 출발하여, 정확도 향상을 PEFT 제약보다 우선한다. 또한, VLM과 그 pretraining data를 모두 활용하되, validation-free 설정을 엄격히 지킨다. 이와 같은 현실적인 설정은 FSR 연구의 영역을 넓히며, 특히 단순히 VLM의 visual encoder 전체를 few-shot 데이터로 finetune 하는 것만으로도 기존 방법들을 크게 능가함을 보였다.
ⓑ Vision-Language Models (VLMs) and Retrieval Augmented Learning (RAL)
CLIP이나 ALIGN과 같은 VLM은 웹에서 수집된 대규모 이미지-텍스트 쌍으로 사전학습된다. 이들은 contrastive learning을 통해 이미지와 텍스트를 공통 임베딩 공간에 매핑하는 방법을 학습한다. VLM은 다양한 downstream task에서 인상적인 zero-shot transfer 능력을 보여주었다.
이러한 VLM의 zero-shot 정확도를 더 향상시키기 위해, 최근 연구들은 RAL을 탐구하였다. RAL은 downstream task와 관련된 공개 데이터를 검색하여, 이를 활용해 VLM을 fine-tuning 하거나 분류기를 학습하는 방법이다.
본 논문은 RAL이 zero-shot recognition에서 성공적으로 활용된 점에 착안하여, 처음으로 RAL을 few-shot recognition(FSR)에 확장하였다. 이 과정에서 새로운 기회뿐만 아니라 흥미로운 도전 과제들도 확인하였다. 또한 이러한 과제를 해결하기 위한 새로운 FSR 방법을 제안하여, 표준 벤치마크 데이터셋에서 최신 state-of-the-art 성능을 달성하였다.
ⓒ Data Issues in the Open World
실제 open-world 데이터는 머신러닝 모델에 다양한 도전 과제를 제시한다. 본 연구와 관련된 두 가지 잘 알려진 문제는 훈련 데이터의 불균형 분포와 훈련 데이터와 테스트 데이터 간의 도메인 격차이다.
불균형 학습은 long-tailed learning 연구에서 광범위하게 다루어져 왔다. 최근 연구에 따르면 pretrained VLM 역시 불균형 분포의 영향을 받는데, 이는 사전학습 데이터가 실제 open-world에서 자연스럽게 long-tailed 분포를 따르기 때문이다. 실제로 본 연구에서도 retrieval을 통해 얻은 데이터가 downstream task에서 다루는 개념들에 대해 불균형 분포를 따른다는 것을 확인하였다. 불균형 또는 long-tailed 분포를 해결하기 위한 다양한 방법 중에서, stage-wise training 접근법이 효과적인 것으로 나타났다. 즉, 먼저 모든 불균형 데이터를 사용해 모델을 학습한 뒤, 이후 classifier를 재학습하는 방식이다.
추가적으로, retrieval 데이터는 few-shot annotated 예시와 명확한 도메인 격차를 가진다. 이 격차는 cross-domain 적용 시 모델 성능에 부정적인 영향을 미친다. 이 문제는 transfer learning과 target-domain 데이터에 대한 fine-tuning을 통해 효과적으로 완화될 수 있다. 본 연구는 FSR을 위해 VLM과 RAL을 사용할 때, 이 두 가지 문제를 동시에 해결해야 함을 보여준다. 우리가 제안한 Stage-Wise retrieval-Augmented fineTuning (SWAT)은 이 두 문제를 효과적으로 다루며, FSR 성능을 크게 향상시킨다.
더 나아가, 데이터 부족 문제를 해결하고 모델 성능을 향상시키기 위해, 학습 과정에서 data augmentation이 널리 사용된다. 일부 augmentation 기법은 개별 데이터 샘플에 적용되며, 다른 기법들은 여러 샘플을 혼합한다. 다양한 data augmentation 기법 중 CutMix는 학습을 안정화하고, overfitting을 줄이며, 모델 성능을 향상시키는 데 효과적임이 입증되었다. 이후 연구에서는 CutMix를 확장하여 MixUp과 결합, patch 경계 smoothing, saliency mask 활용, long-tailed 분포 고려 등의 방법을 제안했다.
우리의 접근법은 retrieved 이미지와 few-shot annotated 이미지를 혼합하는 방식으로 data augmentation을 수행하며, 이로써 FSR 성능을 크게 향상시켰다.
Problem Formulation and Methods
본 연구는 few-shot recognition (FSR) 문제 해결에 초점을 맞춘다. 우리는 먼저 문제와 평가 설정을 설명한 뒤, few-shot 데이터에 대한 fine-tuning에서 시작해 최종 접근법인 Stage-Wise retrieval-Augmented fineTuning (SWAT)까지 방법을 소개한다.
-Problem Setup
우리의 FSR 설정은 downstream task에서 다루는 개념들에 대해 높은 인식 정확도를 달성하는 것을 목표로 한다. 이 설정은 VLM을 FSR에 활용한 최근 연구들을 따른다. 또한 이 설정은 VLM의 pretraining 데이터를 자유롭게 사용할 수 있도록 허용하는데, 이는 이미 zero-shot recognition에서 활용된 바 있으며, 따라서 FSR에도 적용 가능하다. 실제 응용을 지원하기 위해, 이 설정은 학습 파라미터 수를 제한하는 것보다 정확도 향상을 우선한다. 이는 FSR을 모델의 robustness/generalization 연구, 혹은 PEFT 방법을 다뤄온 많은 기존 연구들과 대조된다.
-Evaluation Setup
우리의 연구 목표는 실제 응용에 쓸 수 있는 FSR 솔루션을 개발하는 것이다. 예를 들어, automated data annotation을 위한 annotation guideline 내의 few-shot 예시로부터 학습하는 경우다. 이를 위해 우리는 엄격하고 현실적인 평가 설정을 채택한다. 이 설정은 하이퍼파라미터 튜닝을 위해 큰 validation set을 사용하는 것을 금지한다. 이는 최근 연구에서 지적했듯이, 대부분의 FSR 연구들이 인위적으로 큰 validation set에 의존하는 것과 다르다. 대신 우리는 learning rate, weight decay를 포함해 문헌에 보고된 기본값을 사용하며, 동일한 hyperparameter 세트를 모든 benchmark dataset에 적용한다.
-Remarks
기존의 FSR 방법들은 종종 모델의 일반화를 평가하기 위해 base-to-novel setup을 사용했는데, 이는 기존 dataset을 base class와 novel class로 인위적으로 분리하는 방식이다. 이 경우 모델은 base class의 few-shot 데이터로 학습한 뒤 novel class에서 평가된다. 그러나 이러한 base-to-novel setup은 본 연구의 동기와 맞지 않는다. 실제 데이터 annotation에서는 annotation guideline이 관심 대상인 target concept을 명확히 정의하고 있으며, 불필요한 novel class를 추가하지 않기 때문이다. 더 중요한 점은, 이러한 base-to-novel setup은 인위적이라는 것이다. 왜냐하면 VLM이 이미 인터넷 규모의 pretraining 데이터셋에서 이 novel class들의 예시를 본 적이 있기 때문이다. 따라서 본 연구에서는 base-novel split 없이, downstream task에서 다루는 target class 자체에 대해 FSR 방법을 평가한다.
ⓐ Finetuning on Few-Shot Data
우리의 FSR 설정은 PEFT에 초점을 둔 기존 연구와는 달리, downstream task에서의 높은 인식 정확도를 우선시한다. 이에 따라 우리는 먼저 few-shot finetuning (FSFT)을 테스트했다. FSFT는 VLM의 시각 인코더를 소수 샘플 데이터만 가지고 파인튜닝하는 방식이다. 우리가 알기로는, 이 방법은 기존 문헌에서 탐구된 적이 없다. 놀랍게도, 이 매우 단순한 방법이 기존의 FSR 접근법보다 3% 이상 성능이 뛰어났다.
비록 전체 시각 인코더를 소수 샘플로 파인튜닝하면 overfitting 문제가 생길 것이라고 예상할 수 있으나, 우리의 실험 결과는 overfitting이 일어나지 않음을 보여주었다. 이는 다른 연구 분야에서 도출된 하이퍼파라미터 덕분인 것으로 보인다. 예를 들어, 텍스트 임베딩을 이용한 분류기 초기화, 시각 인코더 업데이트 시 작은 학습률 등이 있다. 게다가, 소수 샘플 데이터의 규모가 작기 때문에, 더 많은 파라미터를 파인튜닝하는 것도 여전히 상당히 효율적이다.
ⓑ Finetuning on Retrieved Data
다음으로, 우리는 VLM과 그 사전학습 데이터를 활용한 retrieval-augmented learning (RAL)을 탐구한다. RAL은 downstream task와 관련된 개념에 해당하는 사전학습 데이터를 검색하는 방법으로, zero-shot recognition에서는 이미 광범위하게 연구되었다. 그러나 우리가 알기로는, FSR에 대해서는 RAL이 탐구된 바 없다. 아래에서는 RAL을 FSR에 사용하는 접근 방식과 그 과정에서 발생하는 흥미로운 도전 과제를 설명한다.
-Retrieval Augmentation
RAL은 zero-shot recognition에서 효과적인 것으로 입증되었다. 관심 개념과 관련된 데이터를 검색하는 데에는 여러 전략이 있다. 예를 들어, target concept의 텍스트 임베딩과 사전학습 이미지/캡션의 feature을 매칭하는 방법이 있고, 단순히 문자열 매칭을 이용해 관련 텍스트를 찾고 그에 해당하는 이미지를 검색하는 방법도 있다. 후자의 방법은 모든 이미지를 다운로드하는 데 필요한 대규모 저장 비용과 각 이미지의 임베딩을 계산하는 연산 비용을 피할 수 있기 때문에 훨씬 효율적이다. 게다가 zero-shot recognition에서도 더 나은 성능을 보여준다. 따라서 본 논문에서는 문자열 매칭 방식을 채택하여 데이터를 검색한다.
-Novel Challenges
대량의 검색 데이터를 활용해 시각 인코더를 분류용으로 파인튜닝했을 때, 놀랍게도 성능은 few-shot 데이터로만 파인튜닝한 방법보다 떨어졌으며, 심지어 최신 zero-shot 방법보다도 낮았다. 우리는 이 성능 저하의 주요 원인을 두 가지로 확인했다.
① 검색 데이터와 downstream 소수 샘플 데이터 간의 도메인 격차
② 검색 데이터의 불균형 분포
이 두 가지 문제를 상세히 설명하고, 우리의 해결책을 제시한다.
① Domain Gap
VLM의 사전학습 데이터셋은 다양한 출처에서 웹 크롤링된 대규모 이미지-텍스트 쌍으로 이루어져 있다. 이 이미지들은 스타일, 해상도, 배경이 매우 다양하며, downstream task의 이미지 분포와는 일치하지 않는다.
다섯 가지 이미지 분류 과제에 대해 retrieval된 이미지와 few-shot으로 주석된 이미지를 비교하였다. 또한 도메인 격차를 정량적으로 검증하였다. 구체적으로, 주어진 이미지가 downstream 데이터 소스에서 온 것인지, retrieval 데이터 소스에서 온 것인지를 구분하는 이진 분류 모델을 학습시켰다. 그 결과 분류기의 정확도가 90% 이상에 달했으며, 이는 두 데이터 소스 간의 도메인 격차가 매우 크다는 것을 확인시켜 준다.
x축: 전체 클래스 중 상위 몇 %의 클래스를 포함하는지
y축: 해당 클래스에서 retrieval로 가져온 이미지 개수
② Imbalanced Distribution
Retrieval 데이터는 불균형 분포를 따른다. 불균형 분포는 학습에 종종 부정적인 영향을 미친다. 주목할 점은, VLM의 사전학습 데이터 역시 본질적으로 불균형하거나 long-tailed 분포를 따른다는 것이다. 이는 현실 세계에서 어떤 개념은 다른 개념보다 훨씬 더 희귀하기 때문이다. 최근 연구 에서 다양한 개념들을 균형 맞추기 위해 광범위한 수작업 노력을 기울였음에도 불구하고, 결과적으로 생성된 사전학습 데이터셋은 여전히 long-tailed 분포를 보인다.
ⓒ Stage-Wise Retrieval-Augmented Finetuning
도메인 격차와 불균형 분포 문제를 해결하기 위해, 우리는 SWAT(Stage-Wise Retrieval-Augmented FineTuning)이라는 2단계 솔루션을 제안한다.
① SWAT은 retrieval 데이터와 few-shot 주석 데이터의 혼합을 사용하여, cross-entropy loss로 VLM의 시각 인코더를 end-to-end 파인튜닝한다.
② 파인튜닝된 인코더 위에서, 분류기를 few-shot 데이터만으로 재학습한다.
아래에서는 SWAT이 두 문제를 동시에 해결할 수 있는 이유를 설명한다.
단계적 학습은 도메인 격차를 해결한다. 더 큰 데이터셋으로 학습함으로써, SWAT은 더 일반화 가능한 특징 표현을 생성한다. 이후 파인튜닝은 일종의 transfer learning으로 작용한다. 전이학습에서는 도메인 차이가 있는 데이터로 학습해도, 파인튜닝 이후 downstream task 성능을 향상시킬 수 있음이 알려져 있다. 이는 SWAT이 도메인 격차 문제를 효과적으로 완화하고 downstream task 성능을 크게 향상시키는 이유를 설명해준다.
단계적 학습은 불균형 분포를 해결한다. 불균형 분포는 실제 환경에서 모델 학습 시 잘 알려진 난제이며, long-tailed recognition 문제를 통해 광범위하게 연구되어 왔다. 단순하지만 효과적인 전략이 제안됐는데, 첫 번째 단계에서는 불균형(long-tailed) 데이터를 사용해 모델을 학습하여 일반화 가능한 특징 표현을 얻고, 두 번째 단계에서는 balancing 기법으로 분류기를 재학습한다는 방식이다. SWAT 역시 유사하게, retrieval 데이터와 few-shot 데이터를 섞은 불균형 데이터로 시각 인코더를 파인튜닝하여 일반화 가능한 특징을 학습한다. 이후 두 번째 단계에서는 균형 잡힌 few-shot 데이터만으로 분류기를 재학습하여 불균형 분포 문제를 효과적으로 완화한다.
-Data Augmentation
본 연구에서는 few-shot 주석 데이터를 보강하기 위해 데이터 증강 기법을 사용한다. 구체적으로, 우리는 CutMix 기법을 적용하는데, 이는 한 이미지에서 무작위로 패치를 잘라 다른 이미지에 붙여 새로운 이미지를 만드는 방식이다. CutMix는 학습을 안정화하고 overfitting을 줄이는 데 효과적임이 입증되었다. 우리의 실험에서 CutMix는 계산 오버헤드가 거의 없이 few-shot recognition 정확도를 크게 향상시켰으며, 다른 더 고급 증강 기법들은 추가적인 계산 오버헤드만 발생시키고 성능 향상은 제공하지 않았다.
Experiments
우리는 SWAT이 기존의 few-shot recognition 방법들을 크게 능가한다는 것을 입증하기 위해 광범위한 실험을 수행한다. 먼저 experiment setup을 설명하고, 그 다음에 벤치마킹 결과를 제시한다. 또한, 중요한 design choices에 대해 ablation study을 통해 검증한다.
ⓐ Experimental Setup
-Datasets and Metrics
데이터 주석 관점에서 동기를 얻어, 우리는 새 종 분류, 항공기 모델 인식, 위성 이미지 분석과 같이 도메인 전문가 지식이 필요한 실제 어려운 과제를 통해 FSR을 연구한다. 구체적으로, 우리는 VLM인 CLIP이 세밀한 속성 인식에 어려움을 겪는 fine-grained recognition 데이터셋을 사용한다. 우리는 9개의 데이터셋을 선택하였다. Semi-Aves, Flowers102, FGVC-Aircraft, EuroSAT, DTD, OxfordPets, Food101, StanfordCars, ImageNet. SWAT은 OpenCLIP ViT-B/32 모델을 사용해 평가되었으며, retrieval 이미지는 공개된 LAION-400M pretraining set에서 가져왔다. 결과는 9개 데이터셋의 평균 정확도로 보고한다.
-Compared Methods
우리는 SWAT을 최신 zero-shot 및 few-shot recognition 방법들과 비교한다. 특히 CLAP은 현실적인 validation-free 설정을 엄격히 따르는 최신 FSR 방법이다.
-Implementations
각 데이터셋마다, 클래스당 500장의 이미지를 retrieval한다. validation-free 프로토콜을 엄격히 따르며, 모든 데이터셋에 동일한 하이퍼파라미터를 설정한다. 우리는 downstream training set에서 무작위 샘플링된 4, 8, 16-shot 데이터를 사용하여 실험을 수행한다. 결과는 평균 정확도로 보고한다. 주목할 점은, 실제 응용 동기에서는 여러 개의 시각적 예시가 제공된다는 것이다. 따라서 본 연구에서는 1-shot이나 2-shot 실험은 수행하지 않았다.
ⓑ Benchmarking Results and Ablation Studies
SWAT은 이전 방법들을 크게 능가한다. 단순히 few-shot 데이터로 파인튜닝만 해도 기존 최신 방법들을 추가 기법 없이도 쉽게 능가함을 보여준다. 더 나아가, SWAT은 정확도에서 기존 방법보다 6% 이상 앞선다. 특히 Semi-Aves, EuroSAT, Aircraft와 같은 어려운 데이터셋에서는 향상이 10~25%로 더욱 두드러졌다. 이 결과들은 SWAT이 FSR에 대해 매우 효과적임을 보여준다.
단계적 파인튜닝은 희소 클래스 정확도를 향상시킨다.
전체적인 성능 향상과 함께, 특히 희소 클래스에서 두드러진 개선을 보여준다. 이는 단계적 파인튜닝과 데이터 증강을 통해 달성된 것이다. 이러한 결과는 retrieved data의 불균형 학습 문제를 해결하는 데 있어 classifier 재학습이 효과적임을 확인시켜준다.
-Ablation study
full finetuning은 2% 이상의 큰 정확도 향상을 가져온다. 단순히 retrieved data를 추가해 파인튜닝을 하면 0.2~1.4% 정도의 작은 향상만 얻을 수 있다. 하지만 CutMix 데이터 증강과 classifier 재학습을 포함하는 SWAT은 2% 이상의 더 큰 정확도 향상을 이끌어낸다. 이 결과는 SWAT이 domain gap 문제와 retrieved data의 불균형 분포 문제를 효과적으로 완화한다는 점을 확인시켜준다.
-Longer training does not suffer from overfitting
학습 epoch 수가 늘어나도 테스트 정확도가 감소하지 않는다. 이는 강력한 사전학습 백본을 이용한 few-shot 데이터 학습은 과적합에 취약하지 않다는 것을 검증한다. 따라서 FSR의 향후 연구에서는 하이퍼파라미터 튜닝을 위한 인위적으로 큰 validation set을 사용하지 않는, 보다 엄격한 validation-free 설정을 안전하게 채택할 수 있음을 시사한다.
-Further analyses
우리는 더 많은 분석을 수행했으며, 주요 결과는 다음과 같이 요약된다. retrieval 데이터를 적절히 필터링하면 일부 데이터셋에서 성능이 추가로 향상된다. 문자열 매칭 기반 retrieval이 전체적으로 가장 좋은 결과를 내지만, 특정 데이터셋에서는 다른 retrieval 방법이 더 나을 수 있다. CutMix는 다른 데이터 증강 기법보다 약간 더 우수하며, 계산 오버헤드는 거의 없다. SWAT은 다른 앙상블 기반 또는 대조 학습 기반 파인튜닝 방법보다 성능이 더 좋다. 파인튜닝 전에 분류기를 텍스트 임베딩으로 초기화하면, 무작위 초기화보다 성능이 더 높으며, 이는 few-shot 데이터 파인튜닝이 과적합되지 않는 이유를 부분적으로 설명해준다. retrieval 이미지를 더 많이 사용할수록 성능 향상은 점차 줄어든다.
Discussions
-Broader Impacts
우리의 연구는 실제 세계의 데이터 주석 동기를 바탕으로 한 실용적인 few-shot recognition 방법을 탐구한다. 이때 주석 가이드라인은 각 개념에 대해 몇 가지 시각적 예시를 제공한다. 그러나 기존 연구들과 마찬가지로, 우리 방법도 사전학습된 VLM을 활용하는데, 이는 인터넷 데이터에서 학습된 편향을 포함할 수 있어 부정적인 영향을 미칠 가능성이 있다. 또한, 본 연구는 VLM의 사전학습 데이터를 retrieval augmented learning 방식으로 불러오는데, 이 역시 편향을 전달할 수 있다. 마지막으로, 제안된 방법은 실제 데이터 주석 응용 환경에서 평가되지 않았으며, 실제 적용 시에는 더 많은 도전 과제가 있을 것으로 예상된다.
-Limitations and Future Work
우리는 몇 가지 한계와 향후 연구 방향을 제시한다.
본 연구는 문헌에 보고된 기존 하이퍼파라미터만으로도 최신 성능을 달성했지만, 이는 모든 FSR 과제에 최적은 아닐 수 있다. 향후 연구에서는 세밀한 하이퍼파라미터 튜닝을 통해 성능을 더 개선할 수 있다.
우리는 단순한 retrieval 방식을 채택했으며, 추가적인 필터링이나 재가중은 적용하지 않았다. 향후 연구에서는 도메인 갭과 불균형 분포 문제를 더 잘 처리할 수 있는 고급 retrieval 기법을 탐구할 수 있다.
본 연구에서 CutMix가 도메인 갭과 불균형 문제를 완화하는 데 효과적임을 보였지만, 이러한 문제를 더욱 해결할 수 있는 새로운 데이터 증강 방법을 탐구할 필요가 있다.
마지막으로, 제안된 방법은 retrieval 데이터의 불균형 문제와 도메인 갭을 동시에 해결하지만, 향후 연구에서는 두 문제를 분리해 더 심층적인 분석을 수행하고, 새로운 해결책을 개발할 수 있다.
Conclusions
우리는 데이터 주석 관점에서 동기를 얻어 few-shot recognition(FSR)을 탐구하였다. 이는 기존 연구들이 비현실적으로 큰 validation set을 활용해 하이퍼파라미터를 조정하는 결함 있는 설정 속에서, 사전학습된 Vision-Language Model(VLM)을 파라미터 효율적 방식으로 파인튜닝하는 데 집중한 것과 달리, 더 높은 정확도를 위한 엄격한 설정에서 FSR을 해결하도록 한다.
우리는 먼저 매우 단순한 방법, 즉 VLM의 visual encoder를 few-shot 데이터로 파인튜닝하는 방식을 검토했으며, 놀랍게도 이 방법만으로도 기존 방법들을 손쉽게 능가하였다. 이후 우리는 retrieval-augmented learning(RAL) 전략을 채택하여, 관심 개념과 관련된 VLM의 사전학습 데이터를 검색해 학습을 촉진하였다. 그러나 retrieval 데이터에는 두 가지 흥미로운 문제가 존재함을 확인했다.
① 불균형한 분포
② few-shot sample과의 도메인 격차
이를 해결하기 위해 우리는 단순하지만 효과적인 방법인 Stage-Wise retrieval-Augmented fineTuning (SWAT)을 제안하였다. 9개의 벤치마크 데이터셋에서, SWAT은 평균 6%의 정확도 향상을 달성하며 기존 방법들을 능가했고, 결과적으로 최신 FSR 성능을 달성하였다.
