[논문 정리] Masked Siamese Networks for Label-Efficient Learning

https://arxiv.org/abs/2204.07141

---

1. Introduction

Self-Supervised Learning in Vision: Masked Denoising과 Joint-Embedding

• Self-Supervised Learning (SSL): 라벨 없이 이미지 표현을 학습해 다운스트림 태스크에 적은 라벨로도 효과적으로 적용 가능
• 핵심 아이디어: 입력 일부를 제거하고 결측 내용을 예측
  • Auto-regressive 모델 / Denoising Auto-encoder: 픽셀·토큰 수준에서 결측 예측
• Masked Auto-Encoders (MAE): 랜덤 마스킹된 Patch 재구성, ViT 기반으로 성공적 적용
  • 장점: 대규모 모델 학습 가능, 대량 라벨 fine-tuning 시 SOTA 성능
  • 한계: ① 저수준 픽셀 세부사항 모델링에 치중, 의미적 추상화엔 불필요 ② Off-the-shelf 표현이 약해 low-shot에서 과적합 ③ 광범위한 fine-tuning 필수
• Joint-Embedding Architectures: 재구성 없이 Siamese Network 기반, 동일 이미지의 두 뷰(hand-crafted transform으로 생성)에 유사한 임베딩 출력하도록 학습
  • 장점: 고수준 의미적 표현, 강력한 off-the-shelf 성능
  • 단점: 로컬 구조(rich local structure) 무시 → 일부 태스크에서 한계

Proposed Method: Masked Siamese Networks (MSN)

• 픽셀·토큰 재구성 없이 마스크 denoising 아이디어를 joint-embedding에 결합한 MSN 제안
  • 이미지의 두 뷰 생성 → 한 뷰는 Patch 무작위 마스킹, 다른 뷰는 그대로 유지
  • ViT 기반 인코더가 두 뷰에 대해 유사한 임베딩을 출력하도록 학습
  • Denoising이 입력 수준 예측 없이 표현 수준에서 암시적으로 이뤄짐(마스킹된 뷰의 표현 = 비마스킹 뷰의 표현)

재구성(생성) 없이 표현 수준에서만 "복원"을 요구한다는 게 MSN의 핵심 축인 듯. MAE의 픽셀 예측 부담을 걷어내고, DINO류의 semantic alignment에 마스킹이라는 계산 절감 장치를 얹은 조합으로 읽힘.

• 실험적 기여
  • ImageNet 1% low-shot: MSN ViT-B/4(patch 4×4) 75.7% top-1, 800M 파라미터급 기존 SOTA Conv 모델을 10배 적은 파라미터로 능가
  • 극저 라벨 (1~5 images/class): MSN ViT-L/7이 5 images/class에서 72.1% top-1, DINO 대비 +8%p로 새로운 SOTA
  • 계산 효율성: 70% Patch 마스킹 → 비마스킹 대비 계산·메모리 50% 절감, ViT-L/7 사전 학습에 AWS p4d-24xlarge 18대(마스킹 없으면 42대 필요)

---

2. Prerequisites

Problem Formulation

• 대량의 비라벨 이미지 $D=\{x_i\}_{i=1}^U$ 와 소량의 라벨 이미지 $S=\{(x^s_i,y_i)\}_{i=1}^L$ ($L \ll U$) 주어짐
• 목표: ① $D$로 사전 학습해 표현을 학습 ② $S$로 감독 태스크에 표현을 적응

Siamese Networks

• 동일 이미지의 두 뷰에 유사한 임베딩을 출력하는 인코더 $f_\theta$ 학습: Anchor 표현 $z_i=f_\theta(x_i)$, Target 표현 $z^+_i=f_\theta(x^+_i)$, $z_i\approx z^+_i$ 유도
• 주요 도전 과제: 표현 붕괴(입력 무관하게 상수 임베딩 출력)
• 붕괴 방지 기법
  1. Contrastive Loss: 다른 이미지 임베딩을 명시적으로 반발
  2. Information Maximization: 평균 예측 엔트로피 최대화 또는 임베딩을 구면에 균일 분포
  3. Asymmetric Architecture: Stop-gradient, Momentum Encoder
  4. Decorrelation: 임베딩 성분 간 상관성 최소화

Vision Transformer (ViT)

• 이미지 → 비중첩 Patch 추출($N\times N$) → 선형 레이어로 Patch Token 생성 → 학습 가능한 위치 Embedding 추가 → [CLS] Token 삽입
• 각 Transformer Layer: Self-Attention + Fully-Connected Layer + Skip Connection
• [CLS] Token의 최종 표현을 인코더 출력 Embedding으로 사용

---

3. Masked Siamese Networks

학습 절차 개요

1. 랜덤 데이터 증강으로 이미지의 두 뷰(anchor view, target view) 생성
2. anchor view에만 랜덤 마스크 적용, target view는 그대로 유지
3. 클러스터링 기반 SSL과 유사하게, Prototype 집합에 대한 소프트 분포 계산
4. 마스킹된 anchor 표현이 비마스킹 target과 동일한 Prototype 할당을 갖도록 표준 cross-entropy loss로 최적화

• 기존 Masked Image Modeling과의 차이: Generative가 아닌 Discriminative 접근, Patch 픽셀·토큰 직접 예측 없음, Loss는 [CLS] Token 출력에만 적용

Input Views

• 미니배치 $B$개 이미지, $i\in[B]$에 대해 이미지 $x_i$
• Target view $x^+_i$: 랜덤 증강 1회 / Anchor view $x_{i,1},\dots,x_{i,M}$($M\geq1$): 독립적 증강 M회

Patchify and Mask

• 각 뷰를 비중첩 $N\times N$ Patch 시퀀스로 변환

• 마스킹은 anchor 뷰에만 적용($\hat{x}_{i,m}$: 마스킹된 anchor, $\hat{x}^+_i$: 비마스킹 target) → 두 시퀀스 길이가 달라질 수 있음

  

• 마스킹 전략

  1. Random Masking: 시퀀스 전반에서 비연속적 Patch 무작위 드롭
  2. Focal Masking: 연속적인 로컬 블록을 무작위 선택해 그 영역 전체 드롭

Encoder

• Anchor Encoder $f_\theta$가 마스킹된 anchor 뷰 처리 → $z_{i,m}\in\mathbb{R}^d$
• Target Encoder $f_{\bar\theta}$가 비마스킹 target 뷰 처리 → $z^+_i\in\mathbb{R}^d$ ($\bar\theta$는 anchor 파라미터의 EMA)
• 두 인코더 모두 ViT trunk, 출력은 [CLS] Token 표현

Similarity Metric and Predictions

• 학습 가능한 Prototype $q\in\mathbb{R}^{K\times d}$
• Anchor 예측: $p_{i,m}:=\text{softmax}\left(\frac{z_{i,m}\cdot q}{\tau}\right)$
• Target 예측: $p^+_i:=\text{softmax}\left(\frac{z^+_i\cdot q}{\tau^+}\right)$, $\tau^+<\tau$로 target sharpening(저엔트로피 예측 유도, 붕괴 방지에 필수)

Training Objective

• 기본 손실: anchor·target 예측 간 cross-entropy $H(p^+_i, p_{i,m})$
• ME-MAX 정규화: 전체 anchor 예측 평균 $\bar p := \frac{1}{MB}\sum_i\sum_m p_{i,m}$ 의 엔트로피 $H(\bar p)$를 최대화해 Prototype을 고르게 활용

• $\lambda>0$: ME-MAX 가중치, Gradient는 anchor 예측에만 전파(target은 stop-gradient)

Target sharpening과 ME-MAX가 같이 붕괴를 막는 구조. 하나는 "target을 확신 있게 만들고", 하나는 "Prototype을 골고루 쓰게 강제"하는 역할 분담이라, DINO의 centering+sharpening 조합과 목적은 같지만 구현 방식이 다른 셈.

---

4. Related Work

4.1. View-Invariant Joint Embedding Architectures

• DINO가 가장 유사: Siamese Network + cross-entropy loss + Momentum Encoder, Multi-crop training이 일종의 focal masking이지만 비마스킹 anchor 뷰가 필수라는 차이
• MSN과의 관계: DINO를 일반화해 random/focal masking을 모두 활용하고 비마스킹 anchor가 불필요, Gradient가 anchor 예측에만 전파돼 마스킹 뷰 활성화만 저장하면 되므로 계산·메모리 요구량 대폭 감소
• 붕괴 방지 메커니즘 차이: DINO는 centering+sharpening, MSN은 entropy maximization(ME-MAX)
• 실험 결과 MSN이 다양한 감독 수준에서 DINO 대비 우위

4.2. Generative Masked Image Modeling

• 입력 일부 제거 후 재구성하는 SSL 전통(초기: 색상화, Context Encoder / 최근: MAE 등 픽셀 수준, BEiT 등 토크나이저 기반)
• MSN과의 차별점: 입력 수준 예측 없이, 노이즈 입력의 전역 표현이 원본 입력의 전역 표현과 같아지도록 암시적으로 denoising → 저수준 픽셀 모델링 회피

4.3. Joint-Embedding + Denoising 하이브리드 접근

• 최근 연구는 마스킹 Patch를 학습 가능한 마스크 Token으로 대체하고, Patch 수준 벡터를 target encoder의 해당 Patch Token과 직접 매칭
  • iBOT, SplitMask: 전역 표현([CLS] 또는 평균 풀링)에 joint-embedding loss 적용, SplitMask는 Patch 수준 손실로 비라벨 데이터 규모를 줄일 가능성 제시
  • data2vec: 비전·음성·텍스트 등 다중 모달리티에 적용 가능성 제시
• MSN과의 핵심 차이: Patch 수준 손실을 전혀 쓰지 않고 전역 뷰 표현만 정렬, 마스킹된 Patch는 완전히 무시 → 계산·메모리 효율성 극대화(ViT-L/7 학습 시 70% 이상 마스킹으로 50% 절감)

---

5. Results

평가 설정

• 사전 학습 데이터: ImageNet-1K, 배치 크기 1024
• 이미지당 anchor 뷰: 1 random mask + 10 focal mask, 마스킹 비율은 모델 크기에 따라 최적화(대형 모델일수록 더 많은 Patch 드롭)

5.1. Label-Efficient Learning

5.1.1. Extreme Low-Shot (1~5 images/class)

• 비교 대상: DINO(joint-embedding), MAE(auto-encoding), iBOT(hybrid) 공식 릴리스 모델

• 적응 프로토콜: MSN·DINO는 가중치 고정 + Linear Classifier, MAE는 Partial fine-tuning(ViT-H/14나 1 image/class는 과적합 방지를 위해 Linear Probe)

  

• 주요 관찰: MSN이 모든 감독 수준에서 타 방법을 압도, 라벨이 적을수록 격차 확대

  • 깊은 모델 + 작은 Patch 크기 → 저라벨 설정에서 이득 확대
  • Joint-embedding이 Auto-encoding보다 우수: invariance 기반 유도 편향이 저라벨 환경에서 더 강건한 반면, 픽셀 재구성 손실은 저수준 표현을 만들어 low-shot에서 과적합에 취약

5.1.2. 1% ImageNet-1K

• 기준 SOTA(멀티스테이지 반감독, ResNet-152 3× wide + self-distillation) 76.6%
• MSN ViT-B/4 75.7% top-1, fine-tuning 없이 800M 파라미터 ConvNet SOTA를 파라미터 대폭 감소로 능가
• 동일 FLOP 비교에서도 기존 SSL 방법 대비 일관된 우위

5.2. Linear Evaluation and Fine-tuning

5.2.1. Linear Evaluation (100% ImageNet-1K)

• MSN 최고 성능 80.7% top-1, SOTA와 경쟁력 있는 수준

5.2.2. Fine-Tuning (100% ImageNet-1K)

• ViT-B/16, 동일 fine-tuning 프로토콜

  

• MSN이 DINO(joint-embedding), MAE(generative)와 동등한 경쟁력, 라벨 풍부 환경에서도 견고함 입증

Low-shot에서 그렇게 강했던 방식이 라벨 100%에서도 밀리지 않는다는 게 포인트. 보통 라벨 효율성과 최종 성능이 trade-off되기 쉬운데, MSN은 양쪽을 다 챙긴 셈.

5.3. Transfer Learning

• CIFAR10/100, iNaturalist 등 모든 태스크·감독 수준에서 MSN이 DINO와 동등하거나 우위
• 추가 이점: anchor 마스킹 덕분에 사전 학습 계산 비용이 DINO보다 낮음

5.4. Ablations

• 평가 방식: 1% ImageNet-1K 라벨(~13 imgs/class), 가중치 고정 + Logistic Regression Classifier

5.4.1. Combining Random and Focal Masking

• Random Masking은 항상 No Masking보다 우수, Focal Masking 단독은 전역 뷰 손실로 성능 저하, Random+Focal 조합이 최적

5.4.2. Random Masking Ratio vs. Model Size

• 대형 모델일수록 높은 마스킹 비율 선호(ViT-L/7은 70% 이상에서 최적), 모델 용량이 커질수록 더 많은 Patch를 드롭해 정보 병목을 유도하는 편이 의미적 표현을 강화

5.4.3. Data Augmentation Strategy

• 색상 통계를 뷰 간에 공유하면 손쉬운 shortcut이 생겨 붕괴로 이어짐, 기하 증강을 독립적으로 적용해야 뷰 불변성 학습이 강제되고 low-shot 성능이 극대화

5.4.4. Random Masking Compute and Memory

• 70% 마스킹으로 메모리·연산량 50% 절감, ViT-L/7 full-precision(patch 7×7) 사전 학습에 MSN은 18대, No Masking(배치 1024)은 42대 이상 필요
• 10개 focal view는 마스킹 비율과 무관, global anchor 뷰 마스킹만으로 효율성 극대화

---

6. Conclusion

• Masked Siamese Networks (MSN) 제안: 마스크 denoising 아이디어를 픽셀·토큰 재구성 없이 활용
• 핵심 기여
  1. 강력한 off-the-shelf 표현으로 라벨 효율적 학습에서 SOTA 또는 압도적 우위
  2. Joint-embedding 아키텍처의 확장성을 동시에 개선: 마스킹된 anchor 뷰 처리로 계산·메모리 50% 이상 절감, 대형 ViT도 소수 GPU 클러스터로 사전 학습 가능
• 한계 및 향후 방향: 뷰 불변성 기반이라 데이터 변환을 명시적으로 설계해야 하며, 최적 변환·불변성은 데이터셋·태스크에 의존적일 수 있음 → 유연한 변환 학습 메커니즘, 등변 표현(equivariant representations) 도입 검토

결국 MSN이 하는 일은 "재구성 없이 마스킹을 계산 절감 장치로만 쓰고, 표현 정렬은 DINO식으로" 정리한 것에 가까움. 아이디어 자체보다 각 요소(마스킹 전략, 마스킹 비율, 증강 독립성)를 촘촘히 ablation으로 검증한 실험 설계가 이 논문의 실질적인 기여로 느껴짐.