[Upstage AI Lab] IR Contest

🖋️ 프로젝트 개요

🖋️ 개념

📌 SBERT

SBERT(Sentence Bert)는 BERT를 변형시켜 만든 모델로, 코사인 유사도를 이용하여 의미있는 문장 임베딩을 추출하는 것을 목표로 만들어졌다. 또 BERT의 정확도를 유지하며 작업 속도를 줄일 수 있다.

여기서 문장 임베딩이란, 문장 정보를 벡터 공간의 위치로 표현한 값이며 문장을 벡터 공간에 배치하여 문장 간 비교, 클러스터링, 시각화 등 다양한 분석 기법 이용이 가능하게 한다.

수천 개 이상의 문서에 대한 빠른 유사도 검색이 가능하기 때문에 Dense Retrieval에 주로 사용된다

단, 문장 간의 관계를 벡터 공간에서 근사적으로 표현하기 때문에 정밀도가 다소 떨어질 수 있다

기존 BERT의 경우, Sentence Embedding을 생성하는 방법이 존재했지만 과거 모델의 성능에 미치지 못했고 주로 두 개의 문장을 모델에 넣어 Cross Attention을 활용해 비교하는 방식으로 활용했다.

Cross-Encoder

📍 Cross-Encoder

• 두 문장을 동시에 Transformer 네트워크에 전달
• 입력 문장 쌍의 유사성을 나타내는 0과 1 사이의 출력 값을 생성한다
• 두 개의 문장을 모델에 넣어 내부에서 문장 간 관계를 비교하게 되는데, 문장이 변형되지 않은 상태에서 비교하기 때문에 정보 손실 없이 문장 간 관계를 파악하는 성능이 우수하다
• 하지만 비교해야 하는 문장 수가 많아질수록 연산이 급증한다는 단점이 있다. 예를 들어 100개의 문장 비교한다면 Cross는 100C2회 수행해야 하지만 Bi는 일단 문장 임베딩(100회) 후 단순 비교하면 되기 때문에 Cross 보다 Bi의 연산 횟수가 적다

📍 Bi-Encoder

• 두 문장을 비교하기 위해 주어진 문장에 임베딩된 문장을 생성한다.
• 문장 A와 B를 독립적으로 BERT에 전달하여 문장 임베딩 u와 v를 생성하고 이러한 문장 임베딩을 코사인 유사성을 사용하여 비교할 수 있다

1. 두 문장을 비교하기 위해 개별 문장의 임베딩을 생성하는 단계
2. 모델 ouput을 pooling하여 sentence embedding 생성하는 단계
3. cosine similarity를 통해 문장과 문장 간 관계 비교를 하는 단계

실시간 문제 해결에 활용될 수 있을만한 빠른 연산 속도 보장한다는 장점이 있지만, Embedding 과정에서 정보손실이 발생하므로 성능에 있어서 Cross-Encoder에 미치지 못한다는 단점이 있다.

구조 자체는 Cross-Encoder가 단순해 보이지만 실제로는 Bi-Encoder는 일단 문장을 embedding을 생성한 후 비교하는 과정 자체는 Bi-Encoder 방식이 효율성 면에서 훨씬 더 효과적이다.

📌 Cross-Encoder

🖋️ 코드 구현