Cross-Encoder와 Bi-Encoder (feat. SentenceBERT)

💡 개요

곰파다 프로젝트를 하면서 문장 간 유사도를 계산하는 모델을 구성할 때에 Bi-Encoder 구조 중 하나인 SentenceBERT를 사용해 학습시키고자 했다. 당시에 Cross-Encoder와 Bi-Encoder 방식을 사용할 때 성능 뿐만이 아니라 속도 차이도 매우 컸었었다. 하지만 이러한 것이 어떤 원인에서 기인했는지 정확히는 알지 못했고 구조를 가져다 쓰기 바빴던 것 같다. 이에 해당 부분을 정리하고 다음 포스트에서는 1회독을 완료한 SentenceBERT 리뷰를 작성하고자 한다.

Cross-Encoder란?

전통적인 BERT 구조를 통해 문장 간 유사도를 구한다고 생각해보자. Classification 혹은 Regression을 하기 위해서는 하나의 Encoder 구조에 결과물을 내놓기 위한 layer를 추가로 쌓게 된다. 그리고 Encoder에 문장 Pair(혹은 Triplet)을 넣어주고 모델에서 나온 CLS 토큰을(혹은 Mean / Max Pooling을 거친 벡터를) 추가된 layer에 넣어주어 결과가 나타나도록 만들어준다.

Pre-trained 모델을 가져와서 fine-tuning을 진행을 해보았다면 이처럼 두 개의 문장이 한 번에 [SEP]토큰으로 나누어진 구조가 익숙할 것이다. 하지만 여기에는 큰 문제점이 있다.

해당 모델에서 나오는 결과물은 결국 임베딩이 아니라 문장 Pair가 들어갔을 때의 연산 결과이다. 즉, [CLS] 토큰을 구해준 후에 그것을 추가적인 layer의 input으로 넣어주기 때문에 연산에 상당히 오랜 시간이 걸릴 수 밖에 없다. 또한 Test 환경에서도 해당 구조를 사용하면 문장 pair가 들어갈 때마다 유사도를 전체 모델에서 구해주어야 하므로 매우 높은 연산이 필요하다. n개의 데이터에 대해서 자신을 제외한 n-1개와 비교를 하며 학습해야 하므로 총 $\frac {n(n-1)}{2}$ 의 연산이 필요하다.

또한 이는 문장 간의 유사도를 계산해주는 모델을 학습하는 것이기 때문에 문장 임베딩을 Encoder가 학습했다라고 보기는 어렵다. 단일 문장이 Encoder에 들어가서 그것을 의미적으로 적절한 위치에 임베딩시켜주는 것이 목표가 아니라 문장 유사도를 얼마나 잘 내보내는 모델이냐가 목표이기 때문이다.

Bi-Encoder란?

그렇다면 위의 단점을 보완하기 위해서는 어떤 방식을 사용하면 좋을까? 우리의 Encoder구조를 추가적인 layer가 아니라 정말 Encoder 그 역할에 충실한 모델을 만드려면 어떻게 해야할까라는 질문에 대한 대답은 Encoder 위에 추가적인 layer를 쌓지 않으면 된다. Encoder는 문장 임베딩에 충실하도록 만들고 layer가 아니라 추가적인 외부 구조로 결과물(여기서는 유사도)를 구해주는 구조이다. 이를 Bi-Encoder 구조라고 부른다.

A문장, B문장은 하나의 Encoder에 들어가는 것이 아니라 두 Encoder에 각각 들어가게 된다. 문장들은 각각 임베딩이 되며 그것들의 결과가 Score를 연산해주는 구조를 통해 연산이 된다. 위와 같은 구조를 사용하게 되면 미리 학습된 문장들(A, B문장)은 임베딩이 완료되어 저장되게 된다. Test 환경에서 문장들이 주어지면(C, D문장) 모델은 이미 저장된 임베딩을 바탕으로 빠르게 임베딩을 연산해주게 되고 이들에 대한 결과물은 외부적 구조로 연산만 해주면 된다.

이를 통해 매우 빠르고 각각의 역할이 명확한 구조가 형성이 된다. 하지만 Bi-Encoder 구조도 단점이 있다. 하나의 Cross Encoder를 사용하는 것보다 성능이 떨어진다는 것이다. 왜냐하면 Cross Encoder는 그 결과물 자체를 잘 내기 위해 구현된 모델이기 때문이다.

번외) SentenceBERT 란?

(1) 개요

BERT로부터 문장 벡터를 얻는 방법은 여러 가지가 존재

그중 대표적인 3가지 방법

1) 첫번째 방법은 [CLS] 토큰의 출력 벡터를 문장 벡터로 간주하는 것

• BERT에서 사용하는 가장 대표적인 방법
• CLS 토큰이 입력된 문장에 대한 총체적인 표현을 압축하고 있다고 간주할 수 있다.

2) 두번째 방법은 BERT의 모든 단어의 출력 벡터에 대해서 평균 풀링을 수행한 벡터를 문장 벡터로 보는 것

이는 CNN 방식에서 사용하는 Pooling과 동일하다

3) 세번째 방법은 2번과 동일하지만 평균 풀링이 아닌 Max Pooling을 진행해주는 것

이때 평균 풀링을 하느냐와 맥스 풀링을 하느냐에 따라서 해당 문장 벡터가 가지는 의미는 다소 다른데, 평균 풀링을 얻은 문장 벡터의 경우에는 모든 단어의 의미를 반영하는 쪽에 가깝다면, 맥스 풀링을 얻은 문장 벡터의 경우에는 중요한 단어의 의미를 반영하는 쪽에 가깝다.

(2) 등장 배경

Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks 라는 논문에서 처음 등장했다.

SBERT는 기본적으로 BERT의 문장 임베딩의 성능을 우수하게 개선시킨 모델

기본적인 구조는 동일하게 가져가되 문장 임베딩을 더욱 효과적으로 하고자 했다.

특히나 SentenceBERT(이하 SBERT)는 NLI 혹은 STS 부분에서 좋은 성능을 보이도록 fine-tuning시키는 것을 목적으로 두는 모델

모델 자체가 이에 대한 Score 위주로 측정이 되어 있다.

(3) 구조

SBERT의 구조는 아래와 같다

해당 형식은 Bi-encoder 형식을 따르는 것을 볼 수 있다.

앞서 BERT의 문장 임베딩을 얻기위한 방식이라고 언급했던 평균 풀링 또는 맥스 풀링을 통해서 각각에 대한 문장 임베딩 벡터를 얻는다

이를 각각 u와 v라고 할 때 u벡터와 v벡터의 차이 벡터를 구한다. 이 벡터는 수식으로 표현하면 $|u-v|$이다.

그리고 이 세 가지 벡터를 연결(concatenation)한다. 세미콜론(;)을 연결 기호로 한다면 연결된 벡터의 수식은 다음과 같다.

만약 BERT의 문장 임베딩 벡터의 차원이 n 이라면 세 개의 벡터를 연결한 벡터 h 의 차원은 3n이 될 것이다.

그리고 이 벡터를 출력층으로 보내 다중 클래스 분류 문제 혹은 Regression을 통한 STS 문제를 풀도록 한다.

NLI라면 3가지 class(contradiction, Entailment, Neutral)를 분류하도록 학습시키며 STS의 경우 0~5의 결과값을 내보내도록 학습시킨다.

Classification의 경우라면 분류하고자 하는 클래스의 개수가 k 라면, 가중치 행렬 3n X k 의 크기를 가지는 행렬 $W_y$ 을 곱한 후에 소프트맥스 함수를 통과시킨다고도 볼 수 있다. 수식은 아래와 같다

이러한 구조는 STS(Semantic Textual Similarity)에서도 매우 효과적이다

• STS는 유사도를 0 ~ 5의 Regression 수치로 표현하는 데이터셋이다.

이것도 동일하게 문장 A와 문장 B 각각을 BERT의 입력으로 넣고, 평균 풀링 또는 맥스 풀링을 통해서 각각에 대한 문장 임베딩 벡터를 얻는다.

이를 각각 u와 v라고 하였을 때 이 두 벡터의 코사인 유사도를 구한다.

그리고 해당 유사도와 레이블 유사도와의 평균 제곱 오차(Mean Squared Error, MSE)를 최소화하는 방식으로 학습시킨다.

• 마치 Regression을 학습하는 것처럼

코사인 유사도의 값의 범위는 -1과 1사이므로 위 데이터와 같이 레이블 스코어의 범위가 0~5점이라면 학습 전 해당 레이블들의 값들을 5로 나누어 값의 범위를 줄인 후 학습할 수 있습니다.

이러한 모델을 학습하는데 있어서 선택에 따라
1) 문장 쌍 분류 태스크로만 파인 튜닝 할 수도 있고,
2) 문장 쌍 회귀 태스크로만 파인 튜닝 할 수도 있으며
1)을 학습한 후에 2)를 학습하는 전략을 세울 수도 있다.

• 해당 방식을 사용하려면 SBERT를 가져와서 fine-tuning시킬 것

참고문헌 :

• https://wikidocs.net/156176

• https://velog.io/@nawnoes/Poly-encoders-architectures-and-pre-training-strategies-for-fast-and-accurate-multi-sentence-scoring