Learning Token-based Representation for Image Retrieval 논문 리뷰

연구실에서

arxiv.org

개념

• 토큰 : 이미지의 특정 시각적 패턴을 나타내는 단위.
• 토큰 모델 : 이미지를 대표하는 특정 시각적 패턴을 추출, 집계하는 방식으로 이미지 검색과 같은 CV 작업에서 사용되는 모델. 토크나이저를 포함한 전체 프레임 워크를 뜻한다.
• 토크나이저 tokenizer : 입력 이미지를 작은 단위(토큰)으로 나누는 과정 또는 도구
• 양자화 : 연속적인 값을 이산 적인 값으로 변환하는 과정 → 모델 효율성을 높이기 위해
  • 이미지 픽셀 값의 범위 0~255를 0~15 사이의 값으로 매핑하여 더 적은 이산 적인 값의 범위로 변환하는 과정
• image corpus : 이미지 코퍼스, 특정 용도로 수집된 대규모 이미지 데이터 셋
• Transformer model : Self-Attention, Cross-Attention 이 언급되었는데, 이 것은 트랜스포머 모델에서 사용되는 메커니즘이다.
• self-attention : 자기 주의, 하나의 시퀀스 내 각 요소가 다른 모든 요소들과의 관계를 학습하는 것. ex. 동일한 이미지 내의 중요한 패턴 파악 가능
• cross-attention : 교차 주의, 두 개의 서로 다른 시퀀스 간의 관계를 파악하는 방법. ex. 다른 이미지와의 관계를 학습하여 특정 패턴이 다른 이미지에도 일관되게 있는 지를 판단할 수 있다.
• Spatial Attention : 공간 주의 메커니즘, 이미지 데이터의 특정 위치(공간적 위치)에 대한 집중을 높여, 중요한 특징을 더 잘 포착하고 불필요한 정보를 무시하는 기법. 각 위치에서 특징의 중요도를 학습하고, 이를 기반으로 입력 데이터를 강조하거나 억제한다.
• ArcFace Margin Loss : 얼굴 인식 및 식별에서 사용되는 손실 함수, 기존 softmax 손실을 확장하여 클래스 간 분리를 강화하고, 동일 클래스 내에서의 특징 벡터의 compact 함을 증가시키는 역할을 한다. 여기서 유클리디언 거리가 아닌 각도를 기준으로 분류를 한다.

Methodology

• 각 단계별로,

1. cnn(지역적 특징 추출), local feature self-attention(CNN에서 추출된 지역적 특징에 문맥 정보 추가)을 통해 이미지의 local feature이 extract 된다. 즉 전처리가 되고,
2. 이 local feature를 tokenizer(LFSA를 통해 얻은 특징을 바탕으로 토큰으로 집계함. 공간 주의적 메커니즘을 사용하여 지역적 특징을 몇 개의 시각적 토큰으로 그룹화 함.)을 통해 집계(aggregate)한다.
3. 이 지역 특징을 transformer self attention(이미지 내 패턴), cross attention(이미지 간 관계) 메커니즘을 통해 강화 시킨다.
4. 이 과정에서 global feature이 생성되고, ArcFace loss를 통해(같은 클래스의 compact함은 유지, 다른 클래스의 이미지는 더 멀게) 학습한다.