Abstract
Fine-grained Few-shot 이미지 분류의 주요 도전 과제는, 소수의 라벨이 지정된 샘플만으로 클래스 간 변이는 크게 하고, 클래스 내 변이는 작게 하는 특징 표현을 학습하는 것이다. 그러나 기존의 few-shot 학습 방법들은 이러한 세밀한 설정에 그대로 적용될 수 없는데, 예비 실험 결과 실제로는 반대 방향으로 작용함을 보여준다.
이 문제를 완화하기 위해, 기존 연구들은 주로 support set을 사용하여 query image를 재구성하고, 그 후 metric learning을 통해 범주를 결정하였다. 그러나 자세히 살펴보면, 이러한 단방향 재구성 방법은 클래스 간 변이를 증가시키는 데에는 도움이 되지만, 클래스 내 변이를 해결하는 데에는 효과적이지 않다.
이에 본 논문에서는 처음으로 양방향 재구성(bi-reconstruction) 메커니즘을 도입하여 클래스 간 변이와 클래스 내 변이를 동시에 조정할 수 있도록 하였다. 구체적으로, support set으로 query set을 재구성하여 클래스 간 변이를 증가시키는 것과 더불어, query set으로 support set을 재구성하여 클래스 내 변이를 감소시키도록 설계하였다. 이 설계는 모델이 보다 세밀하고 판별적인 특징을 탐구하도록 유도하며, 이는 세밀한 이미지 분류 문제 해결에 핵심적이다.
추가적으로, 우리는 자기 재구성 모듈을 양방향 모듈과 함께 구성하여 특징을 더욱 판별력 있게 만들었다. 세 가지 널리 사용되는 세밀한 이미지 분류 데이터셋에서의 실험 결과, 제안된 방법은 기존 방법들에 비해 일관되게 상당한 성능 향상을 보여주었다.
Introduction
few-shot fine-grained 이미지 분류는 최근 들어, 세밀한 분석에서 널리 직면하는 데이터 부족 문제를 해결하기 위한 중요한 방법으로 주목받고 있다. 기존의 few-shot 설정과 마찬가지로, 몇 개의 support samples만으로 효과적인 모델 전이가 필요하다. 그러나 세밀한 문제의 특성상 차이가 존재한다. 즉, 모델은 단순히 범주 수준에서만 구분하는 것이 아니라, 클래스 내부의 미세한 시각적 차이까지 판별할 수 있는 세밀하고 판별적인 특징을 학습해야 한다.
따라서 기존 few-shot 학습 방법들은 세밀한 문제에 적용했을 때 그 성능을 보장하지 못하는 것은 당연하다. ProtoNet을 “birds” 데이터셋에 적용한 결과, 모델은 클래스 간 변이는 줄이고, 클래스 내 변이는 증가시키는 경향을 보였는데, 이는 세밀한 이미지 분류의 목표와 정반대이다.
기존 연구에서는 이러한 문제를 해결하기 위해 전통적인 few-shot 방법을 세밀한 시나리오에 적응시키려는 시도가 있었다. 초기 연구들은 복잡한 아키텍처 설계를 통해 개선을 시도했으나, 성능 향상은 미미했다. 최근에 들어서야 재구성 기반 방법이 주목받으며 최첨단 성능을 달성했다. 이들은 support set과 query set의 특징 정렬을 통해 자연스럽게 세밀한 전이를 유도한다.
그러나 자세히 관찰하면, 모델이 세밀하고 판별적인 영역에 집중할 수는 있으나, 같은 클래스 내의 샘플 간 표현된 의미 정보가 일관되지 않음을 알 수 있다. 이는 여전히 클래스 내 변이가 크다는 것을 의미하며, 이는 fine-grained 학습에서 바람직하지 않다. 즉, 기존 재구성 기반 방법은 클래스 간 변이를 늘릴 수 있지만, 클래스 내 변이를 줄이는 데에는 효과적이지 못하다. 우리는 그 이유가 기존 방법들이 단방향 재구성 방식(support -> query)만을 사용하기 때문이라고 추측한다. 이 방식은 질의 특징과 재구성된 질의 특징 간 관계만을 제한해 클래스 간 변이를 증가시킬 수는 있으나, support set 내 샘플들 간 관계를 제약하지 못해 클래스 내 변이를 줄이지 못한다.
이에 본 논문에서는 처음으로 fine-grained few-shot 분류를 위한 양방향 재구성 메커니즘을 제안한다. 즉, 기존처럼 support set으로 query set을 재구성하여 클래스 간 변이를 증가시키는 동시에, query set으로 support set을 재구성하여 클래스 내 변이를 감소시킨다. 이 접근은 단순해 보일 수 있으나, 세밀한 문제에서 요구되는 두 가지 학습 목표를 동시에 충족시킨다.
우리가 제안하는 양방향 특징 재구성 프레임워크는 크게 네 가지 모듈로 구성된다.
① feature extraction module
② self-reconstruction module
③ mutual bi-directional reconstruction module
④ distance metric module
여기서 ①와 ④는 기존 재구성 기반 접근법과 동일하다. 여기에 더해, ③인 양방향 모듈을 제안하며, ②을 추가해 세밀한 특징 학습을 보완하였다. 두 모듈은 상호 보완적으로 작용하여, 클래스 간 변이를 증가시키는 동시에 클래스 내 변이를 감소시킨다. 실험적 분석 결과 두 모듈 모두 fine-grained few-shot 학습에서 필수적임이 입증되었다.
요약하면, 본 논문의 기여는 다음과 같다.
① 현재 재구성 기반 few-shot fine-grained 분류의 핵심 문제는 클래스 내 변이를 줄이지 못한다는 점임을 밝힌다.
② 처음으로 양방향 재구성 네트워크를 제안하여, support ↔ query 재구성을 통해 클래스 간 변이는 증가시키고, 클래스 내 변이는 감소시킨다.
③ 세 가지 fine-grained few-shot 이미지 데이터셋에서의 실험과 분석을 통해 제안 방법의 우수성과, 양방향 접근법이 효과적인 이유를 규명한다.
(a): 전통적인 metric 기반 방법
(b): 단방향 재구성 방법
(b)+(c): 이 논문에서 제안한 방법
Related works
ⓐ Metric-Based Few-shot Learning
few-shot 학습 방법 중에서 메트릭 기반 방법은 단순성과 효율성 때문에 많은 주목을 받아왔다. 초기 연구들에서는 고정된 메트릭 또는 학습 가능한 모듈을 사용하여 좋은 메트릭 임베딩을 학습하였다. 이들 방법은 샘플 간의 거리 또는 유사도를 기준으로 분류한다. 최근에는 그래프 신경망을 활용한 few-shot 학습 방법이 등장하여, 샘플 간의 풍부한 관계 구조를 모델링할 수 있게 되었다.
세밀한 이미지 분류를 위한 메트릭 기반 방법도 제안되었다. 예를 들어, DN4는 지역 특징을 활용한 image-to-class 기반 측정 방식을 제안했고, BSNet은 두 가지 다른 메트릭을 결합해 더 적지만 더 판별적인 영역을 학습하는 네트워크를 제안하였다. NDPNet은 지역 특징을 투영하여 판별적인 투영 요소를 학습할 수 있는 새로운 특징 재추상화 임베딩 네트워크를 설계하였다. 한편, 본 논문에서는 유클리드 거리를 사용하여 재구성된 특징과 원래 특징 간 오차를 측정한다.
ⓑ Alignment-based Few-shot Learning
정렬 기반 fine-grained few-shot 학습 방법은 이미지 내 객체의 공간적 위치를 정렬하는 데 중점을 두고, 이후 유사도 측정을 통해 분류를 수행한다. 예를 들어, PARN은 위치 인식 관계 네트워크를 사용해 유사한 객체의 공간 위치를 정렬하고 더 유연하고 강력한 메트릭 능력을 학습한다. SAML은 의미적으로 관련된 주요 객체를 collect-and-select 전략으로 정렬한다. DeepEMD는 두 지역 특징 집합 간 최적 매칭 흐름을 계산하기 위해 Earth Mover’s Distance를 사용한다.
또한, 재구성 기반 방법 역시 다른 세밀 이미지들 간의 공간 정렬을 잘 수행할 수 있다. 예를 들어, CTX는 트랜스포머 기반의 새로운 네트워크를 설계하여, 질의 이미지와 라벨이 있는 이미지 간의 거친 공간 관계를 파악한 후, 공간적으로 대응하는 특징 간 거리를 계산해 라벨을 예측한다. FRN은 새로운 모듈이나 대규모 학습 가능한 매개변수를 추가할 필요 없이, 닫힌 해 해법으로 최적의 재구성 가중치를 계산하여 지원 특징에서 질의 특징을 재구성한다. 그러나 기존 재구성 기반 방법과 달리, 본 논문은 양방향 재구성 방법을 제안한다. 즉, support sample로 query sample을 재구성하여 클래스 간 변이를 증가시키는 동시에, query sample로 support sample을 재구성하여 클래스 내 변이를 감소시킨다.
ⓒ Attention Mechanism
Vaswani et al. (2017)은 처음으로 self-attention 메커니즘을 제안하고 이를 활용해 Transformer라는 새로운 간단한 네트워크 구조를 만들었다. 이 구조는 NLP 분야에서 큰 성공을 거두었으며, 이후 CV 분야에서도 효과적으로 사용되었다.
최근 few-shot 학습에서도 self-attention 메커니즘을 채택하는 연구가 증가하고 있다. FEAT은 트랜스포머를 활용한 Few-shot Embedding Adaptation을 제안하였다. 저자들은 다양한 함수 근사기를 이용해 집합 간 함수를 구성했고, 그중 트랜스포머가 가장 효율적으로 집합 내 이미지들 간 상호작용을 모델링하여 공적응을 가능하게 한다는 것을 발견했다.
CTX는 FEAT와 달리, self-attention을 사용하여 query sample과 support sample의 공간적 주의 가중치를 계산하고, query-aligned class prototype을 학습한다. 이후 질의 샘플과 이 정렬된 클래스 프로토타입 간 거리를 계산하여 분류를 수행한다.
본 논문에서 제안하는 방법 또한 트랜스포머에서 사용된 self-attention 메커니즘을 도입하여, self reconstruction 모듈과 mutual reconstruction 모듈에서 최적의 재구성 가중치를 학습한다.
Methodology
ⓐ The Problem Formulation
주어진 데이터셋 D = {(xi, yi), yi ∈ Y}를 세 부분으로 나눈다.
① Dbase = {(xi, yi), yi ∈ Ybase}
② Dval = {(xi, yi), yi ∈ Yval}
③ Dnovel = {(xi, yi), yi ∈ Ynovel}
여기서 xi와 yi는 각각 i번째 이미지의 원래 특징 벡터와 클래스 라벨이다. 세 부분의 카테고리들은 서로 교집합이 없으며, 즉 Ybase ∩ Yval ∩ Ynovel = ∅, 전체 합집합은 Ybase ∪ Yval ∪ Ynovel = Y 이다.
few-shot 분류의 목표는 Dbase와 Dval로부터 지식을 학습하여 Dnovel에서의 C-way K-shot 분류 성능을 향상시키는 것이다. 이때 Dnovel에서 무작위로 C개의 클래스가 샘플링되며, 각 클래스는 K개의 라벨이 지정된 Support set과 M개의 라벨이 없는 Query set만을 가진다.
많은 few-shot 방법들은 meta-learning 패러다임을 채택한다. 구체적으로, 이들 방법의 Dbase에서의 학습 과정은 Dnovel에서의 예측 과정과 동일하다. 이들의 목적은 소수의 라벨 샘플을 기반으로 클래스 개념을 학습하는 메타 지식을 배우는 것이다. meta-learning 단계에서 모델은 Dbase의 각 작업에서 소수의 support sample을 기반으로 query sample의 클래스를 학습한다. 이후 Dval의 여러 작업에서의 성능 평가를 통해 최적의 모델을 선택한다. 마지막으로 meta-test 단계에서는 Dnovel의 모든 샘플링된 작업에서 평균 정확도로 최종 성능을 평가한다.
ⓑ Overview
fine-grained few-shot 이미지 분류에서 세밀하고 판별적인 특징을 학습하는 것은 핵심적이다. 그러나 기존의 재구성 기반 방법들은 대부분 support 특징으로 query 특징을 재구성하는 방식에 의존하며, 이는 클래스 내 변이를 충분히 줄이지 못한다. 이를 해결하기 위해, 우리는 양방향 재구성 네트워크를 제안한다.
제안하는 모델은 네 가지 모듈로 구성된다.
① embedding module fθ: 심층 합성곱 이미지 특징을 추출하는 모듈로, 전통적인 CNN이나 ResNet을 사용할 수 있다.
② Feature Self-Reconstruction Module(FSRM) gφ: self-attention 메커니즘을 기반으로 각 이미지의 합성곱 특징을 자기 자신으로 재구성한다. 이 모듈은 유사한 지역 특징은 더욱 유사하게, 비유사한 특징은 더욱 차별적으로 만들어 이후 상호 재구성 과정에 유리하다.
③ Feature Mutual Reconstruction Module(FMRM) hγ: 샘플 특징을 양방향으로 재구성한다. 즉, 지원 샘플로 질의 샘플을 재구성할 뿐 아니라, 질의 샘플로 지원 샘플을 재구성한다. 기존의 단방향 재구성은 클래스 간 변이를 늘리는 것에만 집중하지만, 양방향 재구성은 클래스 내 변이를 줄이는 기능을 추가한다.
④ Euclidean metric module
질의 샘플과 재구성된 질의 샘플, 지원 샘플과 재구성된 지원 샘플 간의 거리를 계산한다. 두 거리의 가중합을 사용하여 질의 샘플을 분류한다.
ⓒ Feature Self-Reconstruction Module (FSRM)
FSRM을 그림과 같이 설계하였다. C-way K-shot 분류 작업에서, C × (K + M)개의 샘플 xi를 임베딩 모듈 fθ에 입력하여 특징 xi^=fθ(xi) (dxhxw)을 추출한다.
각 이미지 특징 xi^는 FSRM gϕ의 입력이 되며, FSRM의 출력은 zi^ (rxd)로 기록된다.
먼저, 특징 xi^를 r개의 지역 특징으로 변환한다.
지역 특징 시퀀스 xij^와 해당 공간적 위치 임베딩 Epos의 합을 트랜스포머 입력으로 사용한다.
FSRM 모듈의 출력은 트랜스포머 인코더의 Self-Attention 연산에 기반하며, 계산은 다음과 같다.
다음으로, zi^는 레이어 정규화와 다층 퍼셉트론을 거쳐 최종적으로 계산된다.
ⓓ Feature Mutual Reconstruction Module (FMRM)
본 연구에서는 FMRM을 제안한다. 이 모듈은 두 가지 연산을 포함한다.
① query 특징이 주어졌을 때 support 특징을 재구성
② support 특징이 주어졌을 때 query 특징을 재구성
C-way K-shot 분류 작업에서, FSRM을 거친 후 c번째 클래스의 재구성된 지원 특징은 Sc다. 재구성된 질의 특징은 Qi다.
여기서 Sc는 각각 WγQ, WγK, WγV와 곱해져 ScQ, ScK, ScV를 얻는다. 마찬가지로 Qi도 같은 방식으로 곱해져 QiQ, QiK, QiV를 얻는다.
이제 c번째 클래스의 지원 특징 ScV를 사용하여 i번째 질의 특징을 재구성하고, i번째 질의 특징을 사용하여 c번째 클래스의 지원 특징을 재구성할 수 있다.
지금까지의 기존 재구성 방법들은 단방향 재구성(지원 특징 → 질의 특징) 방식만을 사용하였다. 그러나 본 연구에서는 반대 방향의 재구성을 추가하여, 질의 특징을 사용해 지원 특징을 재구성하도록 하였다.
ⓔ Learning Objectives
FMRM을 거친 후, 우리는 유클리드 거리를 사용하여 i번째 질의 샘플 Qi와 c번째 클래스의 지원 샘플 간 거리를 계산한다.
또한, c번째 클래스의 지원 샘플과 질의 샘플 Qi간의 거리를 계산한다.
총 거리는 두 거리 dQi→Sc와 dSc→Qi의 가중합으로 계산된다.
이후 dci를 정규화하여 d^ci를 얻는다.
이 정규화된 값 d^ci를 바탕으로, 하나의 C-way K-shot 작업에서의 총 손실 함수는 다음과 같이 정의된다.
1(yi==c): yi와 c가 같을 때 1, 그렇지 않으면 0
d^ci: i번째 질의 샘플이 클래스 c일 확률
훈련 과정에서, Dbase상의 C-way K-shot 작업마다 손실 L을 최소화하여 네트워크를 업데이트하며, 이 과정을 무작위로 생성된 모든 작업에 반복 적용한다.
Conclusion
본 논문에서는 few-shot fine-grained image classification를 위해 양방향 특징 재구성 네트워크를 제안하였다.
주요 기여는 양방향으로 작동하는 상호 재구성 모듈을 설계한 것이다. support -> query 뿐만 아니라 query -> support 방향으로도 재구성이 가능하다.
기존 재구성 기반 방법들과 비교했을 때, 제안된 방법은 클래스 간 변이는 크게, 클래스 내 변이는 작게 유지할 수 있으며, 이는 세밀한 학습에서 핵심적인 요소이다.
광범위한 실험 결과, 제안된 네트워크는 세 가지 세밀 이미지 데이터셋에서 일관되게 우수한 성능을 보였으며, 기존 최신 기법들과 강력하게 경쟁하고 때로는 이를 능가하는 성과를 달성하였다.
