abstract
few-shot 이미지 분류는 제한된 수의 라벨링된 데이터로부터 분류기를 학습하는 것을 목표로 한다. 기존 방법들이 상당한 개선을 이루었음에도 불구하고, 여전히 혼동되는 support sample와 query sample 간의 이미지 범주를 정확하게 구별하는 데에는 어려움이 존재한다. 우리는 동일한 범주에 속하는 객체가 support set와 query set 사이에서 이미지 수준의 외형 차이가 크게 나타날 수 있는 반면, 서로 다른 범주에 속하는 객체가 유사한 외형을 보일 수 있음을 관찰하였다. 이러한 문제를 해결하기 위해, 우리는 각 이미지를 단일 이미지 수준 특징 대신 feature embedding의 집합으로 표현할 것을 제안한다. 이를 통해 네트워크가 이미지의 다양한 관점에서 보다 풍부하고 유용한 특징을 집약할 수 있도록 한다. 더 나아가, query set과 support set이라는 두 개의 이미지 임베딩 집합 간의 유사성을 측정하기 위해 동적으로 자기 적응하는 가중치 메커니즘을 갖춘 set-based metric 접근법을 제안한다. 또한, 이러한 동적 자기 적응 가중치의 정확도를 향상시키기 위해, 우리는 클래스 수준의 부분 또는 속성 주석과 같은 원시 지식을 사전 지식으로 도입하여 가중치를 조정하였다. 실험 결과, 제안된 방법은 miniImageNet, tieredImageNet, 그리고 CUB 데이터셋에서 탁월한 성능을 입증하였으며, 기존 최고 성능 기법 대비 각각 0.62%, 1.69%, 1.09% 이상의 개선을 달성하였다.
introduction
딥러닝 기반의 이미지 분류 방법들은 상당한 성공을 거두었다. 그러나 이러한 방법들은 보통 대량의 라벨링된 데이터가 모델 학습에 필요하다. 학습 데이터가 소량으로 제한된 경우, 이들 방법은 종종 만족스러운 결과를 내지 못한다. 반면, 인간은 제한된 데이터로부터 학습할 수 있는 능력을 지니고 있으며, 이는 딥러닝 방법에 있어 바람직한 특성이다. 따라서, 매우 적은 수의 샘플로부터 새로운 객체를 분류하는 것을 목표로 하는 few-shot learning(FSL) 방법이 제안되었다.
최근 몇 년간, metric learning 기반의 few-shot learning 방법들이 주류로 자리잡았다. 이 방법들은 샘플 간의 metric을 학습하여 임베딩 공간에서 서로 다른 샘플 간의 비유사성을 측정하는 것을 목표로 한다. 그러나 우리는 동일한 범주에 속하는 객체가 support set과 query set 사이에서 현저한 이미지 수준 외형 차이를 보일 수 있으며, 반대로 서로 다른 범주에 속하는 객체가 유사한 외형을 가질 수 있음을 관찰하였다.
동일한 범주에 속하는 개들이 완전히 다른 외형을 보이며 서로 다른 배경에 둘러싸여 있는 반면, 서로 다른 범주(개와 늑대)는 유사한 외형과 배경을 공유하고 있다.
이러한 문제점을 해결하기 위해, 본 연구에서는 효과적이고 견고한 방법을 제안한다. 단일 image-level 표현만을 사용하는 것은 support set과 query set 샘플을 정확하게 구별하는 데 어려움을 준다. 따라서 우리의 핵심 아이디어는 각 이미지를 단일 특징 벡터가 아닌 feature embeddings set으로 표현하여, 네트워크가 이미지의 다양한 관점에서 더욱 풍부하고 유용한 특징을 집약할 수 있도록 하는 것이다. 그러나 이는 새로운 문제를 낳는다. query set과 support set이라는 두 이미지 임베딩 집합 간의 유사성 혹은 비유사성은 어떻게 측정해야 하는가? Afrasiyabi et al. (2022)에서 영감을 받아, 우리는 weighted set-based metric 접근법을 제안한다. 이는 두 부분으로 구성된다.
① 비지도 가중치 생성
② 원시 지식 기반 가중치 조정
비지도 가중치 생성은 최종 분류 결과에 부정적 영향을 미치는 특징을 억제하고, 긍정적 영향을 미치는 특징을 강화할 수 있다. 또한, 생성된 가중치의 정확도를 향상시키기 위해, 우리는 클래스 수준의 부분 또는 속성 주석과 같은 원시 지식을 사전 지식으로 도입하였다. 실험 결과, 제안된 방법은 query 및 support 이미지로부터 분류 결과 향상에 도움이 되는 더 많은 유용한 정보를 탐색할 수 있음을 입증하였다.
이 논문의 주요 기여는 다음과 같다.
① 기존의 단일 image-level 표현을 대체하는 새로운 특징 집합 생성 방법을 제안하였다.
② set-based metric을 기반으로, 각 특징 임베딩에 대해 동적으로 자기 적응하는 가중치를 비지도적으로 생성하는 가중치 집합 추론 방법을 제안하였다.
③ 생성된 가중치의 정확도를 향상시키기 위해, 일부 원시 지식을 사전 지식으로 도입하였다.
④ miniImageNet, tieredImageNet, 그리고 CUB 데이터셋에서의 실험 결과를 제시하며, 동일한 조건에서 기존 방법들을 능가함을 보여주었다.
Related work
우리의 연구는 귀납적 학습과 전이적 학습을 모두 포괄한다. 제안된 비지도 가중치 생성 방법은 새로운 클래스 집합으로부터 정보를 활용한다. 이 장에서는 FSL 분야에서 본 연구와 관련된 선행 연구들을 검토한다.
ⓐ Few-shot learning
최근 들어 few-shot 학습은 점점 더 많은 주목을 받고 있다. 현재 연구는 크게 두 가지 접근으로 나눌 수 있다.
① 경사 기반 방법
② 메트릭 기반 방법
경사 기반 방법은 경사 하강법을 이용하여 모델이 새로운 작업과 데이터에 더 빠르고 정확하게 적응하도록 하며, 이로써 일반화와 성능을 향상시킨다. 목표는 다양한 소수 샘플 작업으로부터 일반 지식을 추출하여 새로운 작업에 신속히 적응하는 것이다.
메트릭 학습의 주요 목표는 특징 공간 내에서 샘플 간의 유사성 혹은 거리 측정을 개선하는 것이다. 즉, 클래스 내 거리를 최소화하고 클래스 간 거리를 최대화하는 것이다.
전통적인 접근법은 보통 특징 추출기와 분류기의 두 구성 요소를 포함한다. 예를 들어, prototypical network는 각 범주를 그 범주에 속하는 샘플들의 특징 벡터 평균값으로 얻어진 프로토타입 벡터로 표현한다. 추론 시, prototypical network는 테스트 샘플과 클래스 프로토타입 간의 거리를 유클리드 거리 또는 코사인 유사도로 계산하고, 가장 가까운 프로토타입을 그 샘플의 분류 결과로 결정한다.
우리의 접근법은 이 과정과 유사하나, 각 이미지를 단일 특징 벡터로 추출하는 대신 특징 집합으로 추출한다. 그리고 우리는 weighted set-based metric을 사용하여 테스트 샘플과 클래스 프로토타입 간의 유사성을 추론한다.
ⓑ Augmentation-based approaches
추가적인 라벨이 없는 데이터를 활용하여 데이터 부족 문제를 완화하는 것도 few-shot 분류에서의 또 다른 전략이다. 최근 연구는 보통 두 가지로 나뉜다.
① 반지도 또는 자기지도 학습을 통해 라벨 없는 데이터를 활용하는 방법
② 새로운 클래스를 보조 데이터와 alignment하는 방법
예를 들어, 반지도 학습에서는 prototypical network를 확장하여 클래스 프로토타입에 대해 소프트 라벨 기반 가중 추정을 추가하였다. Yang et al. (2021)에서는 few-shot 클래스의 분포를 데이터가 풍부한 클래스의 통계치로 보정한 뒤, 보정된 분포에서 충분한 샘플을 추출하여 분류기의 입력을 증강하는 방법을 제안하였다. 반면, 우리의 접근법은 추가 데이터가 필요하지 않다.
ⓒ Weighted feature set
feature set은 컴퓨터 비전 분야에서 큰 관심을 받아왔으며, 다양한 연구들에서 그 가치가 입증되었다.
Huang et al. (2020)은 multi-scale feature extraction을 의미론적 분할에 도입하였다. 우리의 접근법은 이와 유사하지만, few-shot 분류 문제 해결에 초점을 둔다.
Li et al. (2019)은 image-level 특징 메트릭을 local descriptor 기반의 image-to-class metric으로 대체하였다.
Zhang et al. (2022)은 여러 잘린 이미지 표현들 간의 보편적 데이터 증강에 지구 이동 거리를 사용하였다.
반면, 본 논문은 각 개별 샘플마다 특징 집합을 추출하는 데 집중한다. 우리의 연구는 Fu et al. (2019)에서 영감을 받아, 원래 특징 추출기 내부에 shallow mapper를 삽입하였다. 제안된 feature mapper는 독립적이고 경량화되어 있으며, 네트워크 전체 파라미터 수를 크게 증가시키지 않는다.
또한, 저수준에서 고수준까지의 의미 정보를 통합하고 입력 데이터의 의미 구조 이해를 향상시키며 정보 손실 위험을 줄이기 위해, 특징 맵을 경량 dual-attention module에 투입하기 전에 계층적 수준 간의 정보를 적응적으로 집계하는 메커니즘을 사용한다.
set-based metrics 측면에서, Afrasiyabi et al. (2022)은 코사인 유사도를 사용하여 두 특징 집합 간의 거리를 계산하였다. 우리는 단일 이미지에서 추출된 다수의 특징 벡터가 분류 결과에 기여하는 정도가 다르다는 것을 실험적으로 확인하였다. Zhu & Koniusz (2022)는 few-shot 학습에서 비지도 메트릭 학습을 통해 판별력 있는 부분공간을 학습하여 분류 성능을 높일 수 있음을 탐구하였다. 본 논문에서는 비지도 방식을 활용하여 샘플 간 유사성을 평가하고, 이를 통해 집합의 가중치를 생성한다.
ⓓ Primitive knowledge
시각적 속성은 객체 구성 요소의 시각적 특징을 의미하며, 행동 인식, zero-shot learning, Re-ID, image captioning 등 다양한 분야에서 성공적으로 활용되어 왔다. 최근에는 시각적 속성에 의존하는 여러 FSL 기법들이 제안되었다.
Tokmakov et al. (2019)은 시각적 속성을 기반으로 한 속성 분리 정규화를 개발하여 더 나은 이미지 표현을 얻었다.
Hu et al. (2019)은 공간적 및 의미적 시각 속성을 동시에 탐구하기 위한 합성 특징 집계 모듈을 제안하였다.
Zou et al. (2020)은 중요한 시각 속성들로 구성된 특징 표현을 학습하여 compositional few-shot recognition을 탐구하였다.
Zhang et al. (2021)은 속성을 이용해 prototype completion strategy을 학습하여 더 정확한 프로토타입을 얻었다.
이 모든 연구들은 더 나은 표현을 얻기 위해 시각적 속성을 활용하였다. 그러나 본 논문은 이와 달리, 시각적 속성을 특징 집합의 가중치를 보다 정확하게 생성하는 데 활용한다.
Proposed methods
위 그림은 본 논문에서 도입한 두 가지 모듈을 보여준다.
① Feature Set Generation Module (FSGM)
FSGM은 경량화된 특징 추출 네트워크로 설계되었으며, 다단계 특징 집계 모듈(MFA)과 feature mapper로 구성된다. 다단계 특징 집계 모듈은 서로 다른 수준의 특징을 통합하여 더 풍부한 정보를 확보하고, 이를 통해 후속 작업의 성능을 향상시킨다. 전통적인 방법들이 단일 특징 벡터만 추출하는 것과 달리, FSGM의 특징 매퍼는 하나의 이미지에서 M개의 feature embeddings을 추출하여 feature set을 형성한다. 이 과정은 shallow multiscale attention 메커니즘을 통해 이루어지며, 이는 이미지에서 판별력 있는 영역을 적응적으로 강조하여 특징 표현 능력을 향상시킨다.
② Weighted Set-based Metric Module (WSMM)
WSMM 은 두 특징 집합 간의 비유사성 또는 유사성을 측정한다. 이는 두 부분으로 구성된다.
-unsupervised weights generation
-primitive knowledge-based weights adjustment
unsupervised weights generation은 부정적인 특징을 억제하고 분류에 긍정적인 영향을 미치는 특징을 강화한다. 또한 primitive knowledge-based weights adjustment을 통해 생성된 가중치의 정확도를 추가로 개선할 수 있다. 전통적인 메트릭 학습 방법과 비교했을 때, WSMM은 특징의 중요도를 적응적으로 조정할 수 있으므로 유사성 계산을 더욱 견고하게 한다.
ⓐ Feature set generation module
FSGM은 입력 이미지 X를 단일 특징 벡터가 아니라 특징 집합 H로 매핑하는 것을 목표로 한다. 이는 multi-scale perception attention mapper로 구현되며, 두 부분으로 나뉜다.
① multistage feature aggregation module: 서로 다른 스케일의 두 특징을 적응적으로 융합한다.
dual attention mapper가 충분히 풍부하고 다양한 특징 표현을 포착할 수 있도록, 우리는 효과적인 공간적 multistage feature aggregation module을 통합하였다. 구체적으로, 우리는 첫 번째 블록을 제외한 각 블록에 내장된 매퍼에 대해 두 가지 유형의 특징 맵을 고려하였다. 현재 블록 이전의 저수준 특징 맵 fl (cl, hl, wl)과 현재 블록의 고수준 특징 맵 fh (ch, hh, wh) 여기서 c, w, h는 각각 채널 수, 너비, 높이를 나타낸다.
먼저, 우리는 평균 풀링을 사용하여 저수준 특징 맵 fl의 너비와 높이를 고수준 특징 맵 fh의 차원에 맞추어, 두 특징을 집계할 수 있도록 한다. 저수준 특징을 고수준 특징으로의 적응적 집계를 가능하게 하기 위해, 우리는 저수준 특징 맵 fl을 조정하는 가중치 wl을 학습하기 위해 합성곱 층을 도입하였으며, 이는 그림에서 g로 표시된다. 다음으로, 저수준 특징의 집계는 행렬 곱셈을 통해 수행되는데, 여기서 fl은 wl과 곱해지고, 비선형 변환을 보장하기 위해 활성화 함수가 적용된다. 이 단계는 저수준 특징을 고수준 특징과의 통합에 더 적합한 형태로 효과적으로 변환한다. 마지막으로, 저수준 특징은 fl과 fh 간의 행렬 덧셈을 통해 고수준 특징에 융합된다.
② dual attention mapper: 네트워크 전반에 내장되어 단일 특징 임베딩을 특징 임베딩 집합으로 매핑한다.
우리는 입력 이미지 X를 특징 임베딩 집합으로 변환하기 위해, 네트워크 전체에 걸쳐 전용 dual attention mapper를 통합하였다. 우리의 접근 방식에서, 각 매퍼는 single attention head를 포함하므로, multi-head attention을 위한 완전 연결 층이 필요하지 않다. 추가적으로, 특징 매퍼들은 독립적으로 작동하며, 얕은 방식으로 구별되는 특징 집합을 추출하여 과도한 데이터 소모를 피한다. 학습 과정은 주로 백본 네트워크 내의 합성곱 층에 의존한다.
Zbm은 백본 네트워크의 각 블록으로부터 추출된 특징 벡터(fh)를 나타낸다. 학습된 표현 Zbm (p, c, w, h)는 p개의 비중첩 블록으로 구성된다. dual attention mapper는 채널 어텐션과 공간 어텐션을 순차적으로 적용한다.
채널 어텐션 모듈에서, 우리는 Zbm (p, c, w, h)로부터 직접 채널별 어텐션 맵 ac (p, c, c)를 계산한다. 구체적으로, 우리는 Zbm을 (p, c, n)으로 재구성하고, Zbm과 그 전치행렬의 행렬 곱셈을 수행한 후, softmax 층을 적용하여 어텐션 맵 ac (p, c, c)를 얻는다. 그런 다음, 우리는 ac을 Zbm에 곱하여 최종 출력 Ec를 얻는다.
자기 어텐션 모듈에서, 입력 Ec는 합성곱 층으로 입력되어 세 개의 매개변수화된 요소들(q, k, v)을 생성한다. 다음으로, 우리는 어텐션 맵 as를 계산한다.
√dk는 스케일링 인자이다. 그런 다음, as를 v에 곱하여 최종 출력 Es를 얻는다.
마지막으로, 채널별 어텐션 출력, 자기 어텐션 출력, 원래 입력 간의 덧셈 연산을 수행한다.
여기서, E는 shallow dual-attention 메커니즘을 통해 얻어진 최종 매핑을 나타낸다. 마지막으로, 우리는 패치의 p번째 차원에 대해 평균을 취하여 특징 벡터 hm을 계산한다.
ⓑ Weighted set-based metric module
먼저, 비지도 하위공간 학습 가중치를 논의하기 전에, 우리는 앞서 추출된 특징 집합을 사용하여 어떻게 이미지 분류를 수행하는지 설명한다. Prototypical networks와 Setfeat의 원칙을 따르면서, 우리는 query feature set을 각 클래스 support set의 대응되는 특징 집합과 비교하여 query set의 클래스를 추론한다.
구체적으로, 우리는 집합 간의 거리를 정량화하기 위해 set-based metric을 채택한다.
여기서 Xq는 query set을, Sn은 support set의 프로토타입을 나타낸다. 본 논문에서는 hm(x)를 FSGM에 의해 추출된 특징 임베딩 집합으로 나타내며, support set으로부터 추출된 프로토타입은 다음과 같다.
이 시나리오에서, 우리는 음의 코사인 유사도 함수를 사용하여 query set의 특징 임베딩들과 support set 중심 간의 최소 거리의 합을 계산한다.
Xq: query sample
Sn: support set의 n번째 클래스에 해당하는 샘플 집합
hi(Xq): query 샘플에서 추출된 i번째 feature embedding
hˉj(Sn): Sn에서 추출된 j번째 prototype embedding
d(): 두 벡터 간의 거리 함수 (여기서는 negative cosine similarity)
M: 한 세트에서 뽑힌 feature embedding의 개수
-Unsupervised weights generation
위의 수식들에서, 두 집합 내의 특징 벡터들 간의 거리와 합이 계산된다. 우리는 set-based metric에서, 집합 내 각 특징 임베딩이 두 집합 간의 전체 거리 계산에 서로 다른 정도로 기여한다고 본다. 최종 분류 결과에 크게 영향을 미치는 부정적인 특징을 억제하고 긍정적인 특징을 촉진하기 위해, 우리는 set-based metric에 기초하여 각 특징 임베딩에 대해 동적으로 자기 적응하는 가중치를 생성하는 비지도 방법을 도입한다.
유사도 행렬과 비유사도 행렬을 결합함으로써, 우리의 모델은 특징 간의 유사성을 측정할 뿐만 아니라 차이를 정량화할 수도 있다. 이러한 가중치들은 set-based metric 내에서 각 특징의 중요도에 따라 동적으로 생성되며, 그 결과 모델은 분류 결과에 부정적으로 작용하는 특징은 억제하고 긍정적으로 기여하는 특징은 강화할 수 있다. 이 가중치 학습 메커니즘은 데이터의 특성에 따라 모델이 스스로 조정되도록 하여, 핵심 특징을 보다 정확히 식별할 수 있게 한다.
우리는 먼저 간단한 가정에 근거하여 비유사도 행렬 Adis을 구성한 다음, 구조적 사전을 가진 저랭크 정규화와 자기 표현을 사용하여 유사도 행렬 Asim을 구성한다. 저랭크 정규화는 특징 표현에서 가장 유용한 정보를 유지하면서 중복성을 줄이고 특징 공간을 더 압축되게 만든다. 이는 과적합을 방지하고 잡음의 영향을 최소화하여 모델의 일반화 능력을 향상시킨다.
이전 연구에서는, 연구자들이 주로 유사도 행렬에 기반하여 특징 가중치를 산출하였다. 그러나 우리는 가중치 학습 과정에서 유사도 행렬과 비유사도 행렬의 효과를 모두 통합한다. 구체적으로, 각 클래스에 B개의 query sample이 있는 N-way K-shot 과제에서, 각 샘플 특징 집합 내의 특징 벡터들(총 M개)의 기여도를 평가하기 위해, 우리는 문제를 (K + B + M)·N-way 1-shot 문제로 변환한다. 여기서 대각 성분은 동일한 개체를 나타낸다. 그 결과, 다음과 같은 비유사도 행렬을 얻는다.
여기서, e는 값이 전부 1인 (K + B + M)차원 벡터이며, 𝐼는 단위 행렬을 나타낸다.
저랭크 표현에서, 각 데이터 포인트 xi는 다른 포인트들의 선형 결합으로 표현된다.
여기서 표현 계수는 (∣zij∣+∣zji∣)/2이며, 이는 xi와 xj 간의 유사도를 측정하는 데 사용된다. 우리의 목적은 데이터 내의 내재적 상관 구조를 활용하여 샘플 쌍들 간의 유사도 행렬을 추정하는 것이다. 따라서 우리는 다음의 최소 랭크 최적화 문제에 저랭크 표현을 적용한다.
이 방정식은 두 단계로 해결된다.
① Z = VV^T로 설정하며, 여기서 V는 특징 hm의 특이값 분해를 통해 얻어진다.
② V의 각 행에서 절댓값이 가장 큰 상위 K개의 항목만을 유지한다.
이때 우리의 유사도 행렬은 다음과 같이 표현될 수 있다.
마지막으로, Adis와 Asim의 영향을 균형 있게 반영하여 가중치 행렬을 생성한다.
여기서 hm은 FSGM을 통해 얻어진 특징 집합을 나타내며, Adis와 Asim은 상반된 효과를 가지는 두 가지 측정치이다. 전자는 비유사도 행렬이고, 후자는 유사도 행렬이다. 매개변수 α는 이 두 영향 사이의 균형을 조절한다.
-Primitive-knowledge-based weights adjustment
생성된 가중치의 정확성을 향상시키기 위해, 우리는 클래스 객체가 귀, 다리, 눈 등을 가져야 하는지와 같은 원시 지식을 사전 지식으로 도입하였다. 우리는 이러한 클래스의 원시 지식을 사용하여, 특징 집합 내 각 특징 벡터가 해당 클래스에 속할 확률을 평가한다.
먼저, 각 범주에 대한 원시 지식을 설정해야 한다. 이 지식은 각 범주의 특성을 설명하는 데 사용되며, 예를 들어 코끼리는 긴 코와 네 다리를 가지고 있고, 새는 날개와 두 다리를 가진다는 것이다. 이러한 유형의 지식은 보통 WordNet과 같은 자료에서 쉽게 얻을 수 있다.
클래스 속성들을 나타내는 집합을 A = {ai}라고 하자. A는 F개의 속성로 이루어진 집합이다. R은 속성과 클래스 간의 관계를 나타내는 행렬이다. Rkai= 1은 클래스가 해당 속성과 관련됨을, Rkai = 0은 관련이 없음을 의미한다. 또한, 모든 클래스와 속성의 의미적 임베딩은 GloVe를 사용하여 평균 단어 임베딩 방식으로 계산되며, 이를 P = {pk} ∪ {pai}로 나타낸다.
특징 zai의 속성 ai에 대해, 우리의 직관은 그것이 base classes에서 novel classes로 전이될 수 있다는 것이다. 예를 들어, 인간이 유니콘을 본 적이 없더라도, 말과 사슴에서 “뿔 달린 머리”를 학습했기 때문에 “뿔 달린 머리”라는 시각적 특징을 상상할 수 있다.
속성 특징 zai를 얻기 위해, 우리는 사전 지식에서 해당 속성 ai와 관련된 모든 기반 클래스 샘플들을 집합 Dai로 나타내고, 그 평균과 대각 공분산을 다음과 같이 계산한다.
여기서 평균 μ𝑎𝑖와 대각 공분산 σ𝑎𝑖는 속성 ai의 특징 분포를 설명한다. 이를 통해, 우리는 zai ∼ 𝑁(μ𝑎𝑖, diag(σ𝑎𝑖))를 얻을 수 있다.
이제 우리는 원시 지식을 사용하여 특징 집합 내 가중치를 보정하는 방법을 소개한다. 먼저, Prototypical networks와 같은 기존 연구 방법을 따라 클래스 프로토타입 pk를 얻은 후, 우리의 방법을 사용하여 표현을 독립된 성분들로 분해하여 특징 집합을 얻는다. 우리의 아이디어는 원시 지식, 속성 특징 zai, pk, hm을 입력으로 사용하여, 집합 내 각 요소가 클래스 의미 정보에 속하는 가중치를 출력하는 것이다. 이를 위해, 우리는 의미적 가중치 출력 네트워크를 설계하였다.
여기서 aggregator는 각 속성 특징의 중요도를 평가하고 그것들을 가중치를 통해 결합하는 역할을 한다. decoder는 특징 집합과 속성들의 저차원 표현을 형성하는 것을 목표로 한다. 이후, 우리는 특징 집합 내 각 요소와 클래스 의미 정보 간의 거리를 계산하고, 이를 정규화하여 최종적으로 의미적 가중치를 산출한다.
훈련 과정에서, 인코딩 단계는 특징 분포 𝑧𝑎𝑖 ∼ 𝑁(μ𝑎𝑖, diag(σ𝑎𝑖²))로부터 클래스 속성 특징들을 추출한 후, 인코더 𝑔𝜃𝑒()를 사용하여 속성 특징 zai와 특징 집합 hm을 각각 잠재 특징 z'ai와 h'm으로 인코딩한다.
여기서, 𝜃𝑒는 인코더의 매개변수를 나타낸다. 중요한 점은 meta-testing 단계에서, zai 대신 평균 μ𝑎𝑖를 사용한다는 것이다.
그 다음, 우리는 aggregator module을 설계하였다. 우리는 속성들이 서로 다른 범주에 대해 서로 다르게 기여한다고 본다. 예를 들어, 코끼리의 코는 호랑이의 코보다 구별하기 쉽기 때문에, 이러한 차이는 가중치 조정에 중요한 역할을 한다. 이를 위해, 우리는 attention 메커니즘 기반의 집계 함수 g𝜃a()를 사용한다. 여기서, 카테고리 k와 속성 ai에 대한 의미 임베딩 hk와 hai, 그리고 클래스 프로토타입 pk를 활용하여 주의 가중치 𝛼𝑘𝑎𝑖를 계산한다.
여기서 𝜃𝑎는 aggregator의 매개변수를 나타내며, ‖는 집계 연산을 의미한다.
마지막으로, aggregator를 통해 얻은 다양한 속성들의 기여도를 사용하여 가중치 보정을 수행한다. 우리는 특징 집합의 잠재 인코딩 h'm과 속성의 잠재 인코딩 z'ai 사이의 거리를 계산하고, 결과를 정규화하여 의미적 가중치 Wp를 도출한다.
가중치 Wp를 도출하면, weighted set-based metric은 다음과 같이 표현된다.
hi(Xq): query 샘플 Xq에서 추출된 i번째 매퍼 embedding
hˉj(Sn): support set 클래스 Sn에서 추출된 j번째 prototype embedding
Wp: primitive knowledge 기반 weight 행렬
W: Adis와 Asim 기반 weight 행렬
d(): 거리 함수
Experiments
ⓐ Dataset
우리의 실험은 few-shot 학습을 위한 널리 사용되는 벤치
마크 데이터셋들에서 수행되었다. 여기에는 miniImageNet, tieredImageNet, CUB, CIFAR-FS, FC100이 포함된다. miniImageNet 데이터셋은 100개의 클래스로 구성되어 있으며, SetFeat의 설정을 따라 학습에는 64개 클래스, 검증에는 16개 클래스, 20개 클래스는 모델의 성능 평가에 사용하였다. tieredIma
geNet 분류는 계층적 구조를 따르며, 의미적으로 기본 클래스와 새로운 클래스를 구분한다. 우리는 Meta DeepBDC에서 도입한 분할을 채택하였는데, 이는 20개의 슈퍼클래스로 이루어진 기본 세트, 6개의 슈퍼클래스로 이루어진 검증 세트, 그리고 8개의 슈퍼클래스로 이루어진 새로운 세트를 포함한다. CUB는 fine-grained 데이터셋으로 200종의 새를 포함한다. SetFeat의 설정에 따라 기본 클래스에는 100개,
평가에는 50개, 나머지 50개는 새로운 클래스로 사용하였다. The
CIFAR-FS 데이터셋은 최근 제안된 few-shot 이미지 분류 벤치마크로 CIFAR에서 파생되었다. 이 데이터셋은 총 100개의 클래스로 구성되며,
추가로 무작위로 64개의 학습 클래스, 16개의 검증 클래스, 20개의 테스트 클래스로 분할된다. 각 클래스는 32×32 크기의 이미지 600장을 포함한다. FC100 데이터셋은 또 다른 few-shot 분류 데이터셋으로
CIFAR를 기반으로 한다. 이 데이터셋의 기본 아이디어는 tieredImageNet과 매우 유사하며, 전체 100개 클래스를 20개의 슈퍼클래스로 묶는다. 각 슈퍼클래스는 표준 5개 클래스로 구성된다. 이러한 슈퍼클래스들은 각각 학습, 검증, 테스트에 대응하여 12, 4, 4개로 나뉜다.
앞서 언급했듯이, 우리는 다섯 개의 데이터셋을 선택했다. 우리는 miniImageNet, tieredImageNet, 그리고 CUB를 선택했는데, 이들은 범용 객체 분류와 fine-grained 분류를 모두 포괄하므로, 모델이 종합적으로 미세한 범주 차이를 구분하는 능력을 평가할 수 있게 한다. 또한 tieredImageNet은 계층적 분할 전략을 사용하므로, 더 높은 의미 수준에서 본 방법의 일반화 능력을 분석할 수 있다. 한편, CIFAR-FS와 FC100은 모두 CIFAR에서 파생되었으며, 소형의 저해상도 이미지에서 모델의 성능을 평가하는 데 사용된다. 이러한 데이터셋들은 고해상도 데이터셋과 대비를 이루어, 우리 접근법의 견고성을 추가로 검증해준다.
ⓑ Experimental details
dual attention 메커니즘에 기반한 우리의 매퍼는 불가피하게 파라미터 수를 증가시키므로, 성능 향상이 단순히 파라미터 증가 때문만이 아님을 보장하기 위해 백본 특성 추출기에서 커널 수를 줄였다. 구체적으로, Conv4−512 백본에서는 합성곱 커널 집합을 사용하여 커널 수를 96/128/160/200으로 줄였으며, 총 파라미터는 162.3만 개가 되었다. 반면 Conv4−512 접근법은 159.1만 개의 파라미터를 가진다. 이에 대응하여 ResNet12에서는 128/150/180/200 커널을 사용하여 총 1295.4만 개의 파라미터를 포함하였으며, ResNet12 자체는 1242.4만 개의 파라미터를 가진다. Conv4-64의 경우 이미 최소한의 파라미터 수를 가지고 있으므로, 이를 더 줄이면 학습 불안정성이 초래된다. 따라서 우리의 방법은 더 많은 파라미터를 가지지만, 5.4절에서 논의했듯이 Conv4−64의 파라미터를 인위적으로 증가시켜도 여전히 본 방법이 유의미하게 더 우수한 성능을 보임을 확인하였다.
dual attention 모듈은 셀프 어텐션 모듈 내에서 합성곱 어텐션을 사용한다. 우리는 query, key, value을 단일 깊이 합성곱과 배치 정규화를 사용하여 최적화하였다. 특성 집합의 출력 차원은 특성 추출기 마지막 층의 채널 수와 일치하도록 설정되어, 원활한 연결이 가능하다.
Conv4-64는 Adam 옵티마이저(학습률 0.001, 가중치 감쇠 5 × 10−4)를 사용하여 고정 배치 크기 64로 사전 학습되었다. 반면 ResNet12는 Nesterov 모멘텀 옵티마이저(초기 학습률 0.1, 모멘텀 0.9, 가중치 감쇠 5 × 10−4)를 사용한다. 데이터 정규화와 증강은 DMF에 상세히 기술된 지침에 따라 수행된다. meta-training 단계 전체에서는 모든 아키텍처가 SGD 옵티마이저를 사용하며, 검증 세트는 옵티마이저 스케줄 최적화에 활용된다.
ⓒ Comprehensive comparison
miniImageNet과 tieredImageNet에서의 5-way task 결과를 비교했다. miniImageNet에서 우리는 제안한 weighted set-based metric 방법이 다른 최신 기법들을 능가함을 관찰하였다. 특히, 1-shot과 5-shot 태스크에서 우리의 정확도는 setfeat보다 각각 3.13%와 2.25% 더 높았다. tieredImageNet에서는, 우리의 weighted set-based metric 방법이 1-shot task에서 1.21%, 5-shot task에서 1.69% 향상되어 ELMOS보다 성능이 개선되었다.
다음 표는 제안한 weighted set-based metric 방법의 fine-grained 분류 데이터셋에 대한 평가 결과를 보여준다. 이 결과에서 우리의 접근법이 다시 한 번 모든 최신 기법들을 능가함을 확인할 수 있다.
우리 방법의 우수성을 입증하기 위해, CIFAR-FS 데이터셋에서 최신 기법들과 비교하였다. 우리의 방법은 1-shot과 5-shot 태스크에서 각각 1.37%와 0.80%의 향상을 달성하여 현재 최신 기법들의 성능을 능가하였다.
Conclusions
본 논문은 few-shot 분류에서 weighted set-based metric의 적용을 소개한다. 기존의 image-level 특징 표현을 버리고, 이미지 샘플을 나타내기 위해 특징 임베딩 집합을 활용하는데, 이는 image-level 특징 표현에 기반한 분류와 근본적으로 다르다.
특징 임베딩 집합을 추출하기 위해, 우리는 few-shot 학습에서 일반적으로 사용되는 세 가지 백본에 shallow dual-attention mappers를 삽입하였다. 이 매퍼들은 백본 네트워크 학습을 통해 이미지 내 다양한 스케일의 특징을 포착한다. 특징 집합 추출을 강화하기 위해, 매퍼에 특징 맵을 입력하기 전에 multi-scale aggregation module을 사용하여 저수준 특징 정보를 통합하였다.
분류 과정에서 우리는 set-based metric을 사용하여 support set 예시로부터 주어진 query의 클래스를 추론한다. 이상적으로 알고리즘은 음수 특징에는 적은 가중치를 부여하여, 그것들이 어떤 특징 임베딩과 일치하더라도 전체 거리 계산에 미치는 영향이 최소화되도록 적응해야 한다. 따라서 최종 분류 결과에 크게 영향을 미치는 긍정적 특징을 강화하고 음수 특징을 억제하기 위해, 우리는 set-based metric에 기반하여 각 특징 임베딩에 대해 동적으로 자기 적응 가중치를 생성하는 비지도 학습 방법을 제안하였다.
또한, 생성된 가중치의 정확도를 높이기 위해 원시 지식을 도입하였다. 우리는 원시 지식을 기반으로 생성된 가중치를 조정하였다. 우리의 접근법은 miniImageNet, tieredImageNet, CUB 데이터셋에서 최신 성능을 달성하였다.
