🖼️ SimMIM: a Simple Framework for Masked Image Modeling

Abstract

본 논문은 단순한 프레임워크 SimMIM을 제안함. 마스크된 이미지 모델링을 위해 특별한 디자인 없이 간단하게 구현되었으며, 강력한 표현 학습 성능을 보였음. 랜덤 마스킹과 raw 픽셀의 RGB 값 예측에서는 복잡한 설계 없이도 효과적이었음. ViT-B를 사용하여 ImageNet-1K에서 높은 정확도를 달성하였음. 본 연구를 통하여 대규모 모델 훈련의 데이터 부족 문제를 해결할 수 있을 것으로 보여짐.

1. Introduction

🖼️ Masked Signal Modeling: 입력 신호의 일부분을 마스킹하고 이를 예측하는 작업으로, self-supervised learning에서 많이 사용되고 있음.

🚨 NLP에서는 이러한 접근법을 통하여 다양한 모델에 일반화하였지만, 컴퓨터 비전에서는 이미지와 텍스트 간의 차이로 인해 어려움이 있었음.

➡️ 이를 극복하기 위해 본 논문에서는 복잡한 설계 없이도 시각적 신호의 특성과 잘 맞는 단순한 프레임워크를 제시함.

(1) 입력 이미지 패치의 랜덤 마스킹, (2) 선형 레이어를 사용한 마스킹된 영역의 원시 픽셀 값 회귀, (3) ℓ1 손실 사용으로 구성

✅ 제안된 SimMIM 접근 방식은 효율적인 표현 학습에 매우 효과적

ViT-B를 사용하여 ImageNet-1K에서 83.8%의 상위 1위 세부 조정 정확도를 달성하여 이전 최고 접근 방식보다 +0.6%를 능가함. + 더 큰 모델로 확장 가능함을 입증

2. Related Work

마스크 언어 모델링(MLM)과 마스크 이미지 모델링(MIM)

• 자연어 처리(NLP) 및 컴퓨터 비전 분야의 자기 지도 학습 접근 방식

➡️ MLM은 문장 또는 문장 쌍/셋의 가시적 토큰을 주어진 입력의 보이지 않는 토큰을 예측하여 표현을 학습

➡️ MIM은 NLP의 MLM 작업과 병행하여 진행되었지만 오랫동안 비주류; SimMIM은 이러한 복잡한 디자인과는 대조적으로 극도로 간단한 프레임워크를 제시하여 유사하거나 더 나은 효과를 보여줌.

재구성 기반 방법

• 본 논문의 접근 방식과 관련; 오토인코더방식

➡️ 그러나 본 접근 방식과는 다르게 보이지 않는 신호의 생성 또는 예측이 아닌 다른 접근 방식을 기반으로 함.

+) 또한 본 논문의 접근 방식은 압축 감지와도 관련

• 입력 신호에 대해 매우 작은 일부 입력 이미지 패치로도 잘 작동할 수 있는 인과적 표현 생성 가능

자가 지도 학습 접근 방식

• 다른 작업들은 대조적 학습 방법을 사용

➡️ 본 연구는 자기 지도 시각적 표현 학습의 전제 작업으로 마스크 언어 모델링 수행

3. Approach

3.1. A Masked Image Modeling Framework

💡SimMIM은 입력 이미지의 일부를 가리고 가려진 영역의 원본 신호를 예측하여 표현을 학습

➡️ 프레임워크는 4가지 주요 구성 요소로 이루어짐
(1) 마스킹 방식
(2) 인코더 아키텍처
(3) 예측 헤드
(4) 예측 대상

3.2. Masking Strategy For input transformation

마스킹된 영역의 입력 변환에 대해, NLP와 BEiT와 같은 기술들을 따라 가려진 패치마다 학습 가능한 마스크 토큰 벡터를 사용함.

➡️ 토큰 벡터의 차원은 다른 가시적 패치 표현의 차원과 동일하게 설정

패치 정렬 무작위 마스킹

이미지 패치는 ViT 기본 처리 단위이며, 패치 수준에서 마스킹을 하는 것이 편리

• 각 패치는 완전히 가시적이거나 완전히 가려짐
• Swin Transformer의 경우, 서로 다른 해상도 단계의 동등한 패치 크기를 고려하고 마지막 단계의 패치 크기인 32×32를 채택
• ViT의 경우, 기본 마스크된 패치 크기로 32×32를 채택

기타 마스킹 전략

📌 이전 연구에서 시도한 다른 마스킹 전략

1) 중앙 영역 마스킹: 이미지에서 무작위로 이동 가능하도록 완화

2) Complex 블록별 마스킹: 마스크 전략을 16×16 및 32×32의 두 가지 마스크 패치 크기에 대해 시도

3.3. Prediction Head

예측 헤드는 인코더 출력과 일치하는 입력을 가지고 출력이 예측 대상을 성취할 때까지 임의의 형태와 용량을 가질 수 있음.

📌 일부 초기 작업은 자동 인코더를 따라 무거운 예측 헤드(디코더)를 사용

➡️ 이 논문에서는 예측 헤드를 극도로 가벼운 선형 계층으로 만들 수 있음을 보여줌.

3.4 Prediction Target

원시 픽셀 값 Regression

픽셀 값은 색 공간에서 연속적 + 가장 직접적인 옵션은 회귀를 사용하여 가려진 영역의 원시 픽셀을 예측하는 것!

• 일반적으로 비전 아키텍처는 다운샘플링된 해상도의 피처 맵을 생성

💡 ex) ViT에서는 16×이고 대부분의 다른 아키텍처에서는 32x ➡️ 입력 이미지의 전체 해상도에서 모든 픽셀 값을 예측하기 위해, 피처 맵의 각 피처 벡터를 원래 해상도로 다시 매핑하고 이 벡터가 해당 원시 픽셀의 예측을 담당하도록 함.

4. Experiments

4.1 Ablation Study

• 해당 연구는 Swin-B를 기본 백본으로 사용, self supervvised learning과 AdamW 옵티마이저, 코사인 학습 스케줄러를 사용하며, 100 에폭 동안 훈련

• 미세 조정에서도 AdamW 옵티마이저와 100 에폭 훈련, 코사인 학습 스케줄러를 사용➡️데이터 증강을 위해 다양한 전략을 채택함.

마스킹 전략의 효과

✅ 다양한 마스킹 비율에서 다른 접근 방식의 미세 조정 정확도 위의 표 1을 통해 확인 가능

1. 간단한 무작위 마스킹 전략의 최상의 정확도가 다른 특별히 설계된 방식(예: 블록별 마스킹)보다 높았음.

2. 큰 마스크 패치 크기인 32를 채택할 때 이 간단한 전략이 넓은 범위의 마스킹 비율(10%-70%)에서 안정적으로 잘 수행되는 것을 관찰

❓Prediction이냐 Reconstruction이냐

오토인코더와 마스킹된 이미지 모델링은 모두 원래 신호를 복원함으로써 네트워크를 학습하지만, 가시적인 신호의 재구성과 보이지 않는 신호의 예측에 대한 재구성을 다룸.

➡️ 본 논문의 프레임워크에서는 입력의 가시적 패치의 원시 픽셀 값을 회귀하는 방식으로 재구성 작업을 구현

테이블 4: 마스크된 영역만 예측하는 방식이 모든 이미지 픽셀을 복원하는 방식보다 훨씬 우수한 결과를 보여줌.