SAM

• 0. Abstract
  • SA 프로젝트의 데이터셋(SA-1B)은 10억개 이상의 mask, 1,100만 장 이상의 저작권을 준수한 이미지로 구성됨
  • zero-shot setting에서도 준수한 성능 보임
• 1. Introduction

  • 목표
    - NLP에는 GPT같은 패러다임을 바꾸는 혁신적인 모델이 있는데 CV에는 그런 모델이 없다
    - ⇒ image segmentation 분야에서의 foundation model을 제안하는 것

    목표 달성하기 생각할 것 3가지

    1) task: 어떤 task가 zero-shot 일반화를 가능하게 할까?

    2) model: 어떤 모델 아키텍쳐를 사용해야 할까?

    → flexible prompting과 실시간 segmentation mask 생성을 해줄 수 있는 model이 필요하다

    3) data: 어떤 data가 해당 task와 model에 적합할까?

    → segmentation을 위한 web-scale data source가 없기 때문에 data engine을 만들어 데이터를 수집하고, 이를 활용하여 모델을 개선하는 과정 반복하자

  • Task

    • LLM에서 사용하는 방식과 비슷하게 promptable segmentation task 제안
    • 어떠한 segmentation prompt가 주어져도 유효한 segmentation 결과 출력하는 것이 목표

  • Model

    • 3가지 만족하는 model 만들어야 함
      • 1) flexible prompts 지원
      • 2) 실시간으로 interactive하게 segmentation mask를 계산
      • 3) prompt에 대해서 ambiguity aware
      • SMA은 3가지 만족함

  • Data engine

    그냥 assisted- manual,semi- automatic, fully-automatic 3가지 방식 있다는 것만 알아두자.

    • 강한 일반화 위해서는 방대한 dataset 필요함
    • data engine 구축: Model-in-loop dataset annotation을 사용하는 방법
      1. assisted- manual: 기존의 annotation task와 비슷하게 SAM이 annotator를 assist하는 방식
      2. semi- automatic: 프롬포트해서 선택된 objects들 중에서 일부만 SAM이 mask를 자동으로 생성하고 나머지는 annotator가 한다
      3. fully-automatic: annotation을 완전 자동으로~

  • Data set:

    • fully automatic strategy로 생성된 최종 dataset: SA-1B
• 2. Segment Anything Task Task

  • promptable segmentation task는 주어진 어떠한 prompt라도 유효한 segmenation mask를 출력하는 것

  • 프롬포트가 모호하거나 여러 물체 나타내도 결과는 여러 물체 중 하나를 출력하는 segmentation mask여야 한다

    Pre-training

  • Promptable segmentation task는 각 학습 샘플에서 연속된 프롬프트(점, 박스, 마스크 등)를 simulation하고, 이를 ground truth와 비교하는 사전학습을 제안

  • prompt가 모호해도 valid한 mask를 예측하도록 하는것이 목적

    Zero-shot transfer

  • 사전학습 덕분에 추론 시 어떤 프롬프트에도 적절하게 응답 -<> zero-transfer에 용이

  • 예: 고양이에 대한 bounding box detector가 있다면 그 output을 SAM의 프롬프트로 사용해서 양이에 대한 instance segmentation을 수행

• 3. Segment Anything Model
  

세 가지 구성 요소( Image encoder/ Flexible prompt encoder/Fast mask decoder ) 

**Image encoder**

- 사전학습된 vision transformer기반 MAE(Masked autoencoders) 사용
    - MAE의 encoder는 **recognition을 위한 image representation을 추출**
    

- image encoder는 각 이미지 당 한 번만 실행
- 모델에 프롬프트를 제공하기 전에 적용

**Prompt encoder**

- Prompt를 2개로 나눔
    - sparse(point,box,text)
        - point,box: positional encoding사용
        - text:   free-form 표현하기 위해 CLIP의 text encoder 사용
    - dense (mask)
        - convolution 사용해서 임베딩

**Mask decoder**

- Mask decoder는 Image embedding, prompt embedding, output token을 받아서 mask 형태로 반환
- 구조는 Transformer Decoder를 변형한 형태
- modified decoder block은 모든 embeddings을 업데이트하기 위해 prompt self-attention과 cross-attention을 양방향으로 사용한다
- 이후에 이미지 임베딩을 upsample하고, MLP가 output token을 dynamic linear classifier에 매핑한다
- . 이후 각 이미지 위치에서   mask foreground probability를 계산한다

**Resolving ambiguity**

- 애매한 프롬프트가 주어진다면 다양한 valid mask들이 생성될 수 있음
- SAM은 하나의 prompt에 대해 여러 output mask를 예측하도록 변형함
- 3개의 mask output이면 충분함
- 학습 중에는 예측된 마스크와 ground truth 사이의 loss를 계산하는데, backpropagation은 **가장 loss가 적었던 마스크**에 대해서만 진행
- 3개의 mask에 대해 rank 매기기 위해 confidence  score 예측하도록함

• 4. Segment Anything Data Engine
  • 인터넷에 segmentation masks가 충분하지 않기 때문에, 저자들은 data engine을 만들어 11억개의 마스크 데이터 셋인 SA-1B를 구축
    

**Assisted-manual stage**

- 전문 Annotator들이 SAM으로 지원되는 웹 기반의 interactive segmentation tool에서 전경/배경 객체 지점을 클릭해서 마스크를 레이블링 함
- SAM은 공개된 segmentation datasets를 통해 학습했고,  data  충분히 수집되면 이를 이용해서 재학습  ( 재학습은 총 6번함)

**Semi-automatic stage**

- 모델이 segmet anything할 수 있도록 mask를 다양하게 만들어 내는 것에 초점 둠
- annotator들이 덜 중요한 물체에도 집중할 수 있도록, 먼저 confident masks들을  감지
- annotator들에게 주석이 달리지 않은 물체들 추가적으로 주석을 달도록 함

**Fully automatic stage**

- annotation이 모두 자동적으로 이루어진다.
- 충분한 데이터를 만들어 모델을 학습시키고  모호성 인식 모델을 개발
    - 모델에 32x32 regular grid 점을 프롬프팅했고, 각 점 별로 valid objects에 일치하는 마스크를 예측
    - IoU prediction module을 사용하여 confident mask를 선택
    - NMS를 이용해 중복된 마스크를 제거

• 5. Segment Anything Dataset

  • 데이터 셋 SA-1B는 1,100만 개의 다양한 고해상도와 11억 개의 고품질 segmentation mask로 구성됨

    Images

  • 이미지는 평균 3300x4950 픽셀로 고해상도

  • 1500 픽셀로 downsampling함

  • 그래도 이미 존재하는 다양한 vision datasets보다 고해상도

    Masks

  • 11억개 MASK 만들었는데 그중에서 99.1%가 자동 생성된 것

    Mask quality

  • 무작위로 샘플을 뽑아 이를 전문 annotator가 작업한 것과 비교했는데, 94% 이상이 90%보다 큰 IoU 값을 가졌다.

  • 기존은 기존 모델들은 85-91% 정도

    Mask properties

  • SA-1B에서는 다른 대규모 데이터 셋에 비해 center bias가 훨씬 적다.

- SA-1B는 이미지 당 마스크의 개수가 많으며, 비교적 작은 크기의 마스크를 더 많이 포함하고 있다
- 마스크의 오목함 분포는 다른 데이터셋과 유사

• 6. Segment Anything RAI Analysis Geographic and income representation
  

- 지리적, 경제적으로 평등한 데이터셋 사용했다.

**Fairness in segmeting people**

- 성별, 나이, 인종 차별이 없다

• 7. Zero-Shot Transfer Experiments
  

 **1. Zero-Shot Single Point Valid Mask Evaluation**

- SAM 모델이 학습한 적 없는 기존 23개의 segmentation 데이터 셋들에 대해서
점 찍었을 때 마스크를 얼마나 잘 생성하는지를 기존 SOTA 모델인 RITM과 비교했따
- 주황색과 파란색 막대로 표시된 부분은 각각 SAM과 RITM이 더 뛰어난 성능을 보여준 지표
    - SAM이 23개 중에서 16개에서 우수한 결과 냈따

**2 . Zero-Shot Edge Detection**

- 이미지가 주어졌을 때, 테두리를 추출하는 테스크로 기존 edge detection 데이터 셋에 대해서 SOTA 모델들과 비교
- SOTA 모델을 뛰어넘지는 못했지만, 비빌만한 성능올 보여줬다
    

- SAM이 edge detection에 대한 학습이 이뤄지지 않았음에도, Ground truth와 비교하여 훨씬 정교한 결과를 보여줬다.

**3. Zero-Shot Object Proposals**

- 물체가 있을만한 후보 영역을 찾는 테스크
- 다양한 category 수를 가지는 LVIS 데이터셋에 대한 Object proposal task 결과를 실험하였다. (비교 모델은 ViTDet detector )
- 중간이거나 큰 objects에 대해서는 SAM이 좋은 결과를 보였고, 작거나 빈번한 objects에 대해서는 나쁜 결과를 보였다
    

**4. Zero-Shot Instance Segmentation**

- Object Detection 결과로 출력된 물체에 대해서 Segmentation을 하는 테스크
- ViTDet보다는 성능이 낮았지만, 크게 뒤지지 않는다
    

**5. Zero-Shot Text-to-Mask**

- free-form text로부터 object를 segmenting하는 실험을 진행
- Prompt 정확하게 쓰면 mask 더 잘 만든다

• 8. Discussion Limitation
  • 일반적으로는 잘 작동하지만 완벽하지 않다.
  • 미세한 구조를 놓치기도 한다
  • 연결되지 않은 작은 요소를 상상해서 만 든다
  • 더 많은 연산을 요구하는 방법들 보다는 경계선을 명확하게 생성하지 못한다