Learning Multi-Modal Prototypes for Cross-Domain Few-Shot Object Detection 논문 리뷰

Learning Multi-Modal Prototypes for Cross-Domain Few-Shot Object Detection

Background
ⓐ open-vocabulary detectors
미리 정해진 클래스만 검출하는 detector가 아니라, 텍스트로 주어진 새로운 클래스도 검출할 수 있는 object detector로 GLIP, GroundingDINO가 있다.

ⓑ FSOD에서의 N-way K-shot setting
N-way: 한 번의 few-shot detection task에서 다룰 클래스 수
K-shot: 각 클래스마다 주어지는 object의 close-up 이미지의 수

query 이미지 안에서 support category에 해당하는 객체들을 찾고, bounding box까지 예측한다.

Abstract
Cross-Domain Few-Shot Object Detection (CD-FSOD)은 보지 못한 target domain에서, 소수의 labeled examples만 주어졌을 때 새로운 클래스들을 탐지하는 것을 목표로 한다. Vision-Language Models (VLMs)를 기반으로 한 open-vocabulary detectors는 우수한 전이 성능을 보이지만, 거의 전적으로 text prompts에 의존한다. 이러한 text prompts는 domain에 관계없이 유지되는 의미 정보, 즉 domain-invariant semantics는 인코딩할 수 있지만, few-shot supervision 환경에서 정확한 위치 추정에 필요한 domain-specific visual information은 포착하지 못한다.

본 논문에서는 target domain에서 가져온 visual exemplars와 textual guidance를 결합하여 Multi-modal Prototypes를 학습하는 이중 분기 탐지기, 즉 LMP를 제안한다. Visual Prototype Construction 모듈은 support RoIs로부터 class-level prototypes를 집계하고, query images에서 jittered boxes를 통해 hard-negative prototypes를 동적으로 생성한다. 이를 통해 distractors와 시각적으로 유사한 backgrounds를 포착한다.

Visual-guided branch에서는 이러한 prototypes를 detection pipeline에 주입하며, 학습의 시작점으로 text branch와 동일한 구조의 구성요소를 사용한다. 동시에 병렬적인 text-guided branch는 open-vocabulary semantics를 보존한다. 두 branch는 공동으로 학습되며, inference 시에는 semantic abstraction과 domain-adaptive details를 결합하여 ensemble된다.

여섯 개의 cross-domain benchmark datasets와 표준적인 1/5/10-shot 설정에서, 제안 방법은 state-of-the-art 또는 매우 경쟁력 있는 mAP 성능을 달성한다.

Introduction
Few-shot object detection (FSOD)은 제한된 수의 labeled examples만을 사용하여 새로운 객체 범주를 인식하고 위치를 추정하는 것을 목표로 한다. 이 과제는 일반적으로 base classes와 novel classes가 동일한 데이터 분포에서 추출된다고 가정한다. 그러나 실제 환경에서는 domain shift가 존재하기 때문에 이러한 가정이 자주 성립하지 않는다. 이로 인해 Cross-Domain Few-Shot Object Detection (CD-FSOD) 연구가 등장하였다. CD-FSOD는 source domain에서 학습된 탐지 능력을, novel classes에 대한 소수의 labeled instances만 존재하는 이전에 보지 못한 target domains로 전이하는 것을 목표로 한다.

최근 Vision-Language Models (VLMs)의 발전은 image-text pairs에 대한 대규모 사전학습을 통해 뛰어난 zero-shot transferability를 보여주었다. CLIP과 ALIGN과 같은 VLM들은 최소한의 supervision만으로도 downstream tasks에서 강한 일반화 성능을 보였다. 이러한 패러다임은 자연스럽게 object detection으로 확장된다. 예를 들어 GLIP과 GroundingDINO 같은 open-vocabulary detectors는 text prompts를 활용하여 유연한 object-text alignment를 달성한다. 이러한 VLM 기반 detector들은 풍부한 pretrained representations 덕분에 제한된 target-domain annotations만으로도 새로운 domain에 적응할 가능성이 있어 CD-FSOD에서 유망한 성능을 보여왔다.

그러나 VLM 기반 detector들은 종종 text prompts만을 유일한 guidance로 사용한다. Text는 domain 간 비교적 변하지 않는 high-level semantics를 인코딩할 수 있지만, domain shift 상황에서 각 category가 실제로 어떻게 보이는지는 포착하지 못한다. 예를 들어 “airplane”이라는 text는 visual domain이 무엇이든 동일한 semantic representation을 제공한다. 반면, 동일한 semantic category라 하더라도 visual features는 domain에 따라 달라진다. Natural images에서는 다양한 viewpoint와 복잡한 background가 나타나고, remote-sensing imagery에서는 거의 수직에 가까운 near-nadir perspective와 균일한 scale이 나타나며, cartoon domains에서는 stylized linework와 과장된 shape deformation이 특징적으로 나타난다. 이러한 domain-specific visual characteristics는 text-only representations에 의해 명시적으로 포착되지 않는다. 이 한계는 few-shot setting에서 더욱 심각해진다. labeled examples가 매우 적기 때문에 detector는 data만으로 domain-specific appearance를 학습할 수 없다. 따라서 text guidance만으로는 이 간극을 메우기에 충분하지 않다.

따라서 본 연구의 동기는 target-domain support images에서 추출한 visual prototypes가 text prototypes에 부족한 domain information을 제공할 수 있다는 데 있다. Text prototypes가 객체가 의미적으로 무엇인지를 인코딩한다면, visual prototypes는 특정 domain에서 객체가 어떻게 보이는지를 인코딩한다. 이를 통해 canonical viewpoints, illumination characteristics, stylistic rendering과 같은 fine-grained patterns를 포착할 수 있다. 중요한 점은 few-shot support set이 제한된 수의 instances만 포함하더라도, target domain의 대표적인 visual patterns를 이미 담고 있으며, 이를 활용해 domain-adaptive prototypes를 구성할 수 있다는 것이다. 더 나아가 강인한 구별 능력을 얻기 위해서는 모델이 support images로부터 positive visual patterns만 학습하는 것이 아니라, negative patterns도 명시적으로 모델링해야 한다. 구체적으로, 모델은 target objects와 시각적으로 유사한 domain-specific background regions와 distractors를 포착해야 한다. 이러한 요소들이 CD-FSOD 상황에서 false positives의 주요 원인이 되기 때문이다.

이를 위해 본 논문은 Cross-Domain Few-Shot Object Detection을 위한 Multi-modal Prototypes를 학습하는 dual-branch framework, 즉 LMP를 제안한다. 본 방법은 GroundingDINO를 기반으로 하며, 강한 semantic understanding과 open-vocabulary capability를 유지하기 위해 기존의 text-guided branch를 보존한다. 동시에 domain-specific visual prototypes를 주입하기 위해 병렬적인 visual-guided branch를 도입한다. Visual-guided branch의 핵심은 Visual Prototype Construction 모듈이며, 이 모듈은 class-level prototypes와 hard negative examples를 모두 학습한다. Class-level prototypes는 support image의 RoI features로부터 집계되며, 이는 특정 domain 내 target categories의 대표적인 visual characteristics를 포함한다. 특히 hard negative prototypes는 학습 중 query images의 ground-truth bounding boxes에 random jittering을 적용하여 동적으로 생성된다. 이들은 domain-specific distractors와 시각적으로 혼동되기 쉬운 backgrounds를 포착하는 perturbed regions를 만든다. Positive prototypes와 negative prototypes를 하나의 unified representation에 통합하고 공동으로 학습함으로써, 본 모델은 추가적인 contrastive objectives 없이도 true objects와 false positives를 구별하는 법을 학습한다. 구성된 visual prototypes를 바탕으로, visual-guided branch는 prototype-guided feature enhancement, similarity-based query selection, 그리고 전용 visual decoder를 통한 iterative refinement를 수행하는 detection pipeline을 사용한다. 이 pipeline 전체에서 visual prototypes는 feature representation과 spatial localization을 적극적으로 guide하며, text-guided branch는 병렬적으로 작동하여 semantic constraints를 제공한다. 두 branch는 inference 단계에서 ensemble predictions를 통해 협력한다.

본 논문의 주요 기여는 다음과 같이 요약된다.

• Textual guidance와 visual guidance를 통합하는 dual-branch CD-FSOD framework를 제안한다. Text branch는 open-vocabulary semantics를 유지하고, visual branch는 visual prototypes를 통해 domain-adaptive appearance를 주입한다. Inference 단계에서는 두 branch의 predictions를 ensemble한다.

• Support images로부터 얻은 class-level prototypes와 query jittering으로부터 얻은 hard negative prototypes를 통합하는 Visual Prototype Construction 모듈을 제안한다. 이를 통해 visually similar backgrounds와 partial overlaps 같은 domain-specific distractors를 명시적으로 모델링한다.

• ArTaxOr, Clipart1k, DIOR, DeepFish, NEU-DET, UODD의 여섯 개 dataset과 1/5/10-shot settings에서 광범위한 실험을 수행하였으며, state-of-the-art 또는 매우 경쟁력 있는 성능을 보였다.

(a) 텍스트만 사용하는 프롬프트는 높은 수준의 의미 정보는 인코딩하지만, target domain에서 객체가 실제로 어떻게 보이는지는 반영하지 못한다. 이로 인해 domain shift 상황에서는 localization 성능이 약해질 수 있다.

(b) raw visual prompts, 즉 support image를 그대로 추가하면 의미 정보는 더 풍부해질 수 있지만, 여전히 구조화된 class-specific guidance는 부족하다.

(c) 본 논문은 support image로부터 compact visual prototype을 만들고, 이를 text feature와 함께 detector에 주입한다. 이를 통해 target domain에 적응할 수 있는 능력을 제공하여 더 robust한 FSOD를 가능하게 한다.

Related work
ⓐ Cross-Domain Few-Shot Object Detection (CD-FSOD)
기존 CD-FSOD 접근법은 크게 closed-source setting과 open-source setting으로 구분할 수 있다. Closed-source 방법들은 접근 가능한 source-domain training data를 고정된 dataset으로 제한한다. 예를 들어 Fu et al.은 CD-FSOD benchmark를 도입하고, source data를 오직 MS-COCO로 엄격히 제한하는 설정에서 CD-ViTO를 제안하였다. 반면, open-source CD-FSOD 방법들은 foundation models의 능력을 활용하도록 설계된다. ETS는 pretrained GroundingDINO를 바탕으로 mixed image augmentation과 grid-based sub-domain search strategy를 결합하여, 넓은 domain space 안에서 최적의 sub-domain을 효율적으로 탐색한다. Domain-RAG는 “foreground는 고정하고 background는 적응시킨다”는 원칙을 기반으로, CD-FSOD 성능 향상을 위한 retrieval-guided compositional image generation framework를 개발하였다. 경험적으로 이러한 open-source 접근법들은 동일한 target domain 조건에서 closed-source 접근법보다 더 좋은 성능을 보이는 경우가 많다.

ⓑ Vision-Language Models for CD-FSOD
VLMs는 web-scale image-text pairs와 contrastive objectives를 활용하여, 별도로 인코딩된 image representation과 text representation을 하나의 joint embedding space에서 정렬한다. CLIP과 ALIGN은 image-level cross-modal alignment를 효과적으로 달성하였고, image classification 및 text-image retrieval task로의 강한 전이 성능을 가능하게 하였다. 이러한 연구들에 영감을 받아, object-level visual representations에 대한 필요성이 커졌다. GLIP과 GroundingDINO는 deep cross-modal fusion을 통해 object detection을 phrase grounding 문제로 재정의하였다. GroundingDINO는 여기에 DINO detection backbone과 향상된 feature fusion mechanism을 통합하여 region-text alignment를 개선하였다. 그러나 이러한 모델들은 object를 query하기 위해 text만을 사용하므로, 유사한 categories가 text embedding space에서 가까운 영역을 차지할 때 fine-grained distinctions를 구분하는 데 어려움을 겪는다. MQ-Det는 text encoder 내부에 class-wise cross-attention layers를 통합하여 visual exemplars로 text queries를 re-weight한다. VisTex-OVLM은 visual exemplars를 textualized visual tokens로 projection하여, text prompts와 함께 Object-level Vision-Language Models (OVLMs)를 guide한다. 기존 연구들이 feature fusion이나 projection을 통해 visual information을 text encoder에 통합한 것과 달리, 본 논문은 별도의 visual-guided branch가 support images로부터 구조화된 class-level prototypes를 학습하고, ground-truth box jittering을 통해 hard negative prototypes를 동적으로 생성하는 dual-branch architecture를 제안한다. 이 방법은 CD-FSOD에서 domain adaptation과 confusable context를 모두 명시적으로 다룬다.

Learning Multi-Modal Prototypes

ⓐ Task definition
Cross-Domain Few-Shot Object Detection (CD-FSOD)은 서로 다른 분포를 갖는 두 개의 domain, 즉 source domain과 target domain을 고려한다. Target domain에서 labeled set은 C-way K-shot protocol을 따른다. 여기서 support set은 few-shot learning을 위해 C개의 novel classes 각각에서 K개의 annotated instances로 구성되며, query set Q는 prediction에 사용된다.

CD-FSOD의 목표는 source domain에서 얻은 detection capability를 이전에 보지 못한 target domains로 전이하고, query images 안의 객체를 탐지하는 것이다. 본 논문은 1st CD-FSOD Challenge에서 도입된 open-source setting을 따른다. 이 설정은 large-scale datasets로 사전학습된 foundation models를 활용하고, foundation models의 잠재력을 탐색하는 것을 목표로 한다.

Source-domain training data에 접근하는 대신, 본 연구는 target domains의 few-shot data만을 사용하여 foundation model인 GroundingDINO를 직접 fine-tuning한다.

ⓑ Motivation
CD-FSOD에서 detector는 각 novel class에 대해 소수의 labeled examples만으로 학습하면서도, style, texture, lighting, capture condition과 같은 appearance shifts를 넘어 일반화해야 한다.

Open-vocabulary detectors는 text prompts를 사용함으로써 label bottleneck을 완화하지만, CD-FSOD에서는 두 가지 체계적인 실패 양상이 관찰된다.

첫째, semantic–appearance mismatch이다. Text prototypes는 class의 의미는 포착하지만, rendering style이나 background texture와 같은 target-domain cues는 무시한다. 이로 인해 localization 성능이 저하된다.

둘째, confusable context이다. Positive examples가 매우 적은 상황에서는 시각적으로 유사한 background나 객체 근처 영역이 학습을 지배하게 되고, 이는 false positives를 유발한다.

단순히 raw support images를 visual prompts로 추가하는 것은 큰 도움이 되지 않는다. 구조화되지 않은 features는 class evidence와 incidental context를 뒤섞으며, hard negatives를 명시적으로 모델링하지 않기 때문이다.

이러한 관찰에 기반하여, 본 논문은 다음과 같은 고려사항을 바탕으로 CD-FSOD를 위한 multi-modal prototypes 학습을 제안한다.

• Domain conditioning without losing openness
Inference 시 prompts의 자유도를 유지하기 위해 text-guided branch를 보존하되, detector가 새로운 appearance에 적응할 수 있도록 target-domain visual prototypes를 추가한다.

• Structured, class-specific visual guidance
K-shot supports 전체 이미지를 그대로 사용하는 대신, class evidence를 나타내는 compact visual prototypes로 요약한다. 그리고 detector가 실제 결정을 내리는 query selection과 decoding 단계에 이를 주입한다.

• Explicit modelling of confusions
각 ground-truth 주변에 jittered boxes와 같은 방식으로 hard-negative prototypes를 구성한다. 이를 통해 classifier가 추가적인 contrastive loss 없이도 객체와 자주 혼동되는 distractors를 구별하도록 학습한다.

ⓒ Visual Prototype Construction
• Class-level Prototypes
C-way K-shot setting에서 각 support image $I_s$는 여러 instances를 포함할 수 있다. Class c ∈ {1, . . . , C}에 속하는 annotated instance i마다, image encoder의 가장 낮은 pyramid level에서 RoIAlign을 통해 pooled RoI feature를 추출하고, 여기에 global average pooling (GAP)을 적용한다.

Class prototype은 해당 class에 속하는 instance descriptors의 평균으로 정의된다. 모든 prototypes는 ℓ2-normalization된다.

$p_{cls} = \frac{1}{|\mathcal{I}_c|} \sum_{i \in \mathcal{I}_c}\mathrm{GAP}\left(f^{(0)}_{c,i}\right) \in \mathbb{R}^{D_I}$

즉, class-level prototype은 support images에서 target class의 대표적인 시각적 특징을 압축한 표현이다.

• Hard Negative Prototypes
각 query ground truth 주변의 혼동되기 쉬운 background를 모델링하기 위해, GT boxes를 jittering하여 negatives를 생성한다. j번째 GT box에 대해 N개의 perturbed boxes를 sampling하고, ground-truth box와 중간 정도의 IoU를 갖는 box만 유지한다.

각 negative prototype은 query image의 가장 낮은 level feature map에서 RoIAlign + GAP을 통해 얻어진다.

$p^{(n)}_{\mathrm{neg},j} = \mathrm{GAP}\left(\mathrm{RoIAlign}\left(f^{(0)}_q, \tilde{b}^{(n)}_j\right)\right) \in \mathbb{R}^{D_I}$

모든 GT boxes에 대해 생성된 negative prototypes의 합집합이 hard negative prototype set을 이룬다. 이 negative prototypes 역시 normalization된다.

즉, hard negative prototypes는 실제 객체와 부분적으로 겹치거나 시각적으로 유사하여 false positive를 유발할 가능성이 높은 영역을 표현한다.

• Visual Prototypes
현재 query image에 대해, class prototypes와 hard-negative prototypes를 concatenate하여 visual token matrix를 구성한다.

이 sequence는 support images에서 얻은 compact하고 class-specific한 evidence와, jittered boxes에서 얻은 query-conditioned distractors를 함께 제공한다.

ⓓ Visual Prototype Refinement
본 논문은 language branch와 동일한 transformer feature-enhancer 및 decoder architecture를 재사용하지만, 입력 guidance로 text가 아니라 visual prototype sequence를 사용한다. 학습 안정화를 위해 초기에는 language branch의 weights를 복사하고, 이후 모든 parameters를 joint optimization한다.

• Visual-Prototype Feature Enhancer
Multi-scale image features를 tokenized image features로 변환한 뒤, feature enhancer는 self-attention과 cross-attention layer들로 구성된다. 이 과정 이후 FFN이 적용되며, 출력으로 adapted prototypes와 image tokens가 생성된다.

이 단계의 핵심은 image features와 visual prototypes가 서로 attention을 주고받도록 하여, image representation이 target-domain visual evidence를 반영하도록 만드는 것이다.

• Visual-Guided Query Selection
Prototype-aware image tokens와 adapted visual prototype sequence가 주어지면, 각 image token에 대해 모든 guidance token과의 cosine similarity를 계산한다. 이후 각 image token의 최대 similarity score를 기준으로 Top-$N_q$ indices를 선택하여 queries를 초기화한다.

선택된 각 index에 대해, 해당 pyramid level에서 예측된 dynamic anchor의 positional component와 learnable content component를 결합하여 mixed query seed를 만든다.

이 query seeds는 decoder에 reference anchors와 content embeddings를 동시에 제공한다.

• Visual Decoder
Visual decoder는 cross-modality decoder와 유사한 구조를 가진다. 각 layer는 queries에 대한 self-attention, image features에 대한 multi-scale deformable cross-attention, adapted visual prototypes에 대한 cross-attention, 그리고 FFN을 순차적으로 적용한다. 전체 과정에는 normalization과 residual connection이 포함된다.

각 layer의 prediction head는 class logits와 box deltas를 출력하며, reference boxes는 반복적으로 업데이트된다. Classification은 projected query embeddings와 class visual prototypes 사이의 cosine similarity를 기반으로 하는 prototype-aligned scoring을 사용한다.

ⓔ Text-Guided Prototype Refinement

본 논문은 open-vocabulary detection 능력을 유지하기 위해 GroundingDINO의 text branch를 그대로 보존한다. Class names를 text encoder에 입력하면 embedding이 생성되고, 이 embedding은 detector width에 맞게 projection된다.

이후 visual pathway와 동일한 세 단계를 따른다. 다만 visual prototypes 대신 text prototypes를 사용한다.

첫째, text-prototype feature enhancement를 수행한다.
둘째, image tokens와 text prototypes 사이의 similarity를 기반으로 language-guided query selection을 수행한다.
셋째, cross-modality decoding을 통해 text-guided detections를 생성한다.

Inference 단계에서는 이 text branch가 visual branch와 ensemble된다. 이를 통해 text branch의 semantic abstraction과 visual branch의 domain-adaptive appearance를 결합한다.

ⓕ Optimization
본 논문은 text-guided branch와 visual-guided branch를 함께 학습하는 dual-branch supervision을 사용한다. 두 branch는 one-to-one Hungarian matching을 통해 joint training된다.

각 decoder layer는 class logits와 boxes에 대한 $N_q$개의 predictions를 출력한다. 마지막 layer에 supervision을 적용하고, intermediate layers에는 auxiliary losses를 추가한다.

• Logits and targets
Text branch에서는 query embeddings를 prototype space로 projection한 뒤, text prototypes와의 cosine similarity를 통해 class logits를 계산한다.

Visual branch에서는 class visual prototypes를 기준으로 logits를 계산한다. Hard negatives는 별도의 category를 형성하지 않는다. 대신 attention path를 통해 background target을 확장하는 역할을 한다.

모든 tokens는 cosine similarity 계산 전에 ℓ2-normalization되며, fixed temperature가 사용된다. Matched query가 ground-truth box와 class에 대응될 때, focal target은 해당 class에 대해서만 one-hot이고 나머지는 0이다.

Hard negatives는 cross-attention에 주입되어 background channel에 기여하며, 학습 중 “non-class”의 비중을 증가시킨다. 따라서 distractors에 높은 score가 부여되는 경우, 추가적인 contrastive loss 없이도 focal term에 의해 down-weight된다.

• Branch losses
각 branch는 classification을 위한 focal loss, box regression을 위한 L1 loss, 그리고 box quality를 위한 GIoU loss를 사용한다. 이 loss들은 matched queries에 대해 합산되며, intermediate decoder layers에도 auxiliary losses가 적용된다.

• Total loss
전체 loss는 text branch loss와 visual branch loss를 결합하여 구성된다. 이때 scalar $\alpha$는 visual prototype supervision과 text prototype supervision 사이의 균형을 조절하는 coefficient이다.

Experiments
• Datasets
본 논문은 CD-ViTO benchmark를 따라, 다양한 시각적 특성을 가지는 여섯 개 target domain에서 LMP의 성능을 평가한다. 사용된 dataset은 photorealistic images를 위한 ArTaxOr, cartoon illustrations를 위한 Clipart1k, aerial photography를 위한 DIOR, underwater imagery를 위한 DeepFish와 UODD, 그리고 industrial defect inspection을 위한 NEU-DET이다.

성능은 benchmark의 표준 protocol과 동일하게 1-shot, 5-shot, 10-shot 설정에서 mean Average Precision (mAP)으로 측정한다.

• Implementation
본 논문은 baseline detector로 Swin Transformer-Base (Swin-B)와 BERT-base를 사용하는 pretrained GroundingDINO를 사용한다. 모델은 두 단계로 fine-tuning된다.

첫 번째 단계에서는 visual-guided branch만을 최적화한다. 이때 900개의 queries를 사용하며, visual loss인 $L_{visual}$을 사용한다.

두 번째 단계에서는 visual-guided branch와 text-guided branch를 함께 학습한다. 이때 전체 objective인 $L_{total}$을 사용하며, 각 branch는 900개의 queries를 선택한다. Visual supervision과 text supervision의 균형을 맞추기 위해 loss weighting factor $\alpha$는 1.0으로 설정한다.

Optimizer로는 AdamW를 사용하며, learning rate는 1e-4, weight decay는 1e-4로 설정한다. Backbone learning rate는 1e-5로 설정한다. 모든 실험은 단일 NVIDIA GeForce RTX 3090 GPU에서 수행된다.

ⓐ Main Comparison Results
여섯 개 target domain에 대한 1/5/10-shot 결과는 Table 1에 요약되어 있다. 본 논문은 제안 방법을 대표적인 few-shot detectors와 비교한다. 비교 대상에는 TFA w/cos, FSCE, DeFRCN, ViTDet-FT, Detic-FT, DE-ViT, 그리고 CD-ViTO가 포함된다. 이들의 성능 수치는 CD-ViTO에서 보고된 값을 사용한다.

또한 GroundingDINO 기반 방법들과도 비교한다. 여기에는 ETS, Domain-RAG, 그리고 vanilla fine-tuned GroundingDINO baseline이 포함되며, 이들의 성능 수치는 Domain-RAG에서 보고된 값을 사용한다.

전체적으로, 제안한 LMP는 모든 설정에서 state-of-the-art 또는 매우 경쟁력 있는 성능을 달성한다. 여섯 개 target domain에 대한 평균 성능 기준으로, LMP는 GroundingDINO baseline보다 1-shot에서 8.0 mAP, 5-shot에서 3.6 mAP, 10-shot에서 2.1 mAP 향상된다.

평균 성능 향상 외에도, 본 논문은 두 가지 핵심 관찰을 강조한다.

첫째, coarse-label datasets에서 큰 성능 향상을 얻는다. ArTaxOr는 “Coleoptera”, “Lepidoptera”와 같은 coarse taxonomic labels를 사용한다. 이러한 label은 shape, texture, color에 대한 시각적 정보를 거의 제공하지 않는다. 따라서 text-only prompts는 시각적으로 유사한 species를 구별하는 데 약한 guidance만 제공한다. 반면 LMP는 visual prototypes를 구성함으로써 text가 제공하지 못하는 domain-specific appearance supervision을 주입하고, 그 결과 상당한 성능 향상을 얻는다.

둘째, LMP는 extreme data scarcity 상황에서도 효과적이다. 가장 큰 평균 성능 향상은 1-shot regime에서 나타나며, 8.0 mAP의 향상을 보인다. Shot 수가 증가할수록 성능 향상 폭은 감소한다. 이는 class당 단 하나의 annotated instance만 존재하는 경우에도 multi-modal prototypes가 효과적임을 보여준다.

4.2. More Analysis
• Ablation Study
본 논문은 여섯 개 target domain의 5-shot setting에서 서로 다른 prototype type의 영향을 분석하기 위해 ablation experiments를 수행한다.

세 가지 구성을 비교한다.

첫 번째는 text prototypes only 설정이다. 이 경우 GroundingDINO를 baseline으로 fine-tuning한다. GroundingDINO의 text embeddings는 target-domain visual understanding이 부족하다.

두 번째는 visual-guided branch에 class-level visual prototypes를 추가한 설정이다. 이 경우 모든 dataset에서 text-only baseline보다 일관된 성능 향상을 달성한다.

마지막으로 class-level prototypes에 더해 hard negative prototypes를 추가한다. 이 설정은 모든 dataset에서 최적의 성능을 달성한다. 이는 hard negative prototypes가 cross-domain detection에서 data scarcity와 visual ambiguity를 처리하는 데 필수적임을 보여준다.

• Hyperparameter Sensitivity Analysis
본 논문은 두 가지 중요한 hyperparameter의 영향을 분석한다. 하나는 hard negative prototypes의 개수 N이고, 다른 하나는 loss weighting factor $\alpha$이다.

ground-truth당 세 개의 hard negative prototypes를 사용하는 경우 최적의 detection accuracy를 달성한다. 특히 1-shot regime에서 성능 향상이 두드러진다. 그러나 N을 5로 증가시키면 성능이 약간 감소한다.

Figure 3b의 오른쪽 패널은 $\alpha$를 통해 visual prototype supervision과 text prototype supervision 사이의 기여도 균형을 분석한다. 모든 shot setting에서 가장 좋은 성능은 $\alpha$ = 1.0일 때 나타난다. 이는 domain-adaptive visual cues와 semantic abstraction을 동일한 비중으로 결합하는 것이 최적임을 의미한다.

• Prototype-Space Visualization
본 논문은 visual branch에서 얻은 visual features를 t-SNE를 사용하여 2D space로 투영한다. triangles는 matched detections의 query features를 나타내고, circles는 hard negatives를 나타낸다. 서로 다른 색은 class labels를 의미한다.

Closed-set classification과 달리, 이 class들은 명확한 cluster로 완전히 붕괴되지 않는다. 이는 CD-FSOD에서는 예상 가능한 현상이다. 모델이 few-shot과 domain shift 환경에서 detection을 위해 최적화되며, global manifold separation이 명시적으로 강제되지 않기 때문이다. 또한 prototypes는 global margin을 강제하기보다는 local decision을 guide한다.

명확한 cluster가 없더라도 두 가지 관찰이 가능하다. 첫째, 많은 query features가 관련 없는 class보다 자신이 속한 class neighborhood에 더 가깝게 위치한다. 이는 decoder의 prototype-aligned scoring과 일치한다. 둘째, hard negatives는 category들이 시각적으로 혼동되는 mixed regions에 섞여 나타난다. 바로 이러한 영역에서 false positives가 발생하므로, explicit negative prototypes가 detector의 spurious responses를 억제하는 데 도움이 됨을 보여준다.

• Qualitative Analysis of Prototype Guidance
Figure 5는 visual prototypes와 hard-negative prototypes가 text-only baseline과 비교해 detector의 동작을 어떻게 바꾸는지 시각화한다.

Clipart1k에서는 text-only prompts가 terminal structures나 buses 같은 context에 집중하는 경우가 많다. Visual prototypes는 이러한 distractors의 영향을 낮추고, 올바른 객체만 남도록 만든다.

Industrial textures를 포함하는 NEU-Det에서는 baseline이 시각적으로 유사한 categories를 혼동하지만, 제안 방법은 boundary를 더 선명하게 만들고 올바른 label을 부여한다.

Small, low-contrast fish를 포함하는 underwater imagery dataset인 DeepFish에서는 prototype guidance가 recall을 높이고 missed detections를 줄인다.

ArTaxOr의 insects에 대해서는 제안 방법이 더 tight한 bounding boxes를 생성하고 missed detections를 방지한다.

Conclusion and Limitations
본 논문에서는 multi-modal prototypes를 학습하는 cross-domain few-shot object detection용 dual-branch framework를 제시하였다. Text branch는 open-vocabulary semantics를 보존하는 반면, visual branch는 Visual Prototype Construction 모듈을 통해 domain-conditioned visual information을 주입한다. 이 모듈은 class-level prototypes와 query-aware hard negatives를 통합한다.

제안한 설계는 feature enhancer, similarity-based query selection, 그리고 prototype-aware decoder를 기반으로 한다. 이를 통해 표준적인 focal loss만으로 명시적인 hard-negative mining을 수행하며, 추가적인 contrastive terms는 필요하지 않다. 다양한 target domains와 1/5/10-shot settings 전반에서 제안 방법은 일관된 성능 향상을 보였으며, 특히 극단적인 1-shot regime에서 가장 큰 개선을 달성하였다. Ablation 실험은 visual prototypes와 hard negatives라는 두 구성 요소의 효과를 확인하며, visual branch를 text branch로부터 초기화하는 것의 이점도 보여준다.

본 연구의 한계는 non-typical supports에 대한 민감성과, 두 개의 branch를 실행함으로써 발생하는 추가적인 계산 부담이다. 향후 연구에서는 adaptive prototype creation과 pruning, 더 강력한 negative mining, 예를 들어 ring/context regions와 proposal-similarity distractors, lightweight support augmentation, 그리고 단일 deployment branch로의 distillation을 탐색할 예정이다. 또한 더 풍부한 textual prompts, semi-supervised support sets, video 또는 multi-view settings로 아이디어를 확장하는 것도 유망한 연구 방향이다.