📝 Week 5: NLP Decoding Strategy

썸네일은 Decoding Strategy의 특성을 반영해 예상 응답을 생성한 결과이다.
Beam Search는 주로 많이 사용되는 단어를 조합하여 짧은 문장을 생성해내고, Top-k Sampling은 무작위성이 강해 예상 밖의 답변이 등장하기도 한다. Top-p Sampling은 자연스러우면서도 보다 다양한 단어를 선택하여 유연한 응답이 가능하다.

💡
4-5주차는 이어서 진행이 되었는데, 저번 주에 강의를 많이 들어놔서 이번 주는 상대적으로 여유가 있었다. 여유가 있는 김에 이렇게 목요일에 올리기도 하고! 남은 날 동안에는 MLOps 공부를 할 것이다.
NLP 이론을 배우고 이제 곧 프로젝트가 시작할 텐데, 두근두근하다. 그동안 결과만을 보고 프로젝트를 해왔는데 이번에는 과정에 있어서 "잘"을 실천하고자 한다.

5주차 내용 정리는 BERT를 쓸까 하다가 논문 스터디도 했겠다, 논문 리뷰로 올리려고 한다.
업뎃하면 링크 달아둘게요.

NLP Decoding이란?

자연어 모델이 최종 출력하는 형태가 입력과 같은 sequence라면 그 때 그 때 어떤 단어의 token을 출력할지를 결정하는 근거가 필요하다.
모델이 학습한 파라미터들은 단어의 token들에 대한 확률 분포일 것이다. 따라서, 문장 $X$가 주어졌을 때, 해당 확률 분포에서 확률이 가장 높은 $y$를 선택하는 것이 이상적이다.

이때 모든 timestep t들의 조합에 대해 완전 탐색을 수행하는 것은 비효율적이라는 것은 당연하다. 그래서 위 식을 변형한다.

위 식은 이전 단계의 출력을 활용하여 현재 단계의 예측을 수행하는 Auto-Regressive한 과정이다.

Greedy Decoding

첫 번째 방법으로 Greedy Decoding이 있다. 매 timestep에서의 최대 확률을 갖는 token을 선택한다. 하지만 이는 확률 분포에 근사를 하는 방법일 뿐, 선택된 token이 정답이 아닐 경우 다음 단계에까지 영향을 미쳐 최적해를 보장하지 않는다는 단점이 있다.

Greedy Decoding 방식을 적용한 결과	최적해의 결과

종료 조건
<END> token을 선택할 때까지 계속 생성한다.

Beam Search

Greedy Decoding의 단점을 보완하고자 매 timestep마다 k개의 후보 token을 생성한다. 선택되는 token의 점수는 아래와 같다.

기존의 $\overset{t}{\underset{i=1}{\prod}}P_{LM}(y_i|y_1, ..., y_{i-1}, X)$에 $\text{log}$를 붙여 덧셈으로 변환한 것이다. 확률의 특성에 따라 $\text{P}$는 0-1 사이의 값을 갖고, 이를 $\text{log}$ 함수에 입력하면 $(-\infin, 0]$의 범위를 갖기 때문에 score가 클수록 즉, 0에 가까울수록 더 적절한 token으로 판단한다. 아래는 k=2일 때의 예시이다.

1 시작 token으로부터 확률이 가장 높은 k개 token에 대한 score를 계산한다.
2 k개의 후보 각각으로부터 score를 계산하여 상위 k개의 token을 선택한다. 이 단계에서 총 $k^2$개의 token이 생성된다. 이때 또 score를 비교하여 상위 k개의 token을 선택한다.
3 2번의 과정을 반복한다. 그림에서는 1번에서 생성한 한 쪽의 브랜치만 따라가는 형태로 선택되었는데, 상관 없다.
4 위 과정을 반복한다.

종료 조건
각 단계를 Beam이라고 하는데, 해당 Beam마다 서로 다른 timestep에서 <END> token을 선택할 수 있다. 이렇게 <END> token이 선택되어 완료된 문장은 후보로 남겨놓고 계속 Beam Search를 이어간다.
<END> token 생성 이전에 특정 timestep에 도달하면 종료한다.
또는 생성이 완료된 문장이 특정 개수에 도달하면 종료한다.

Beam Search가 종료되고 생성된 후보들 중 score가 가장 높은 문장을 선택한다.
하지만 생성된 후보 문장 안에는 여러 개의 token이 존재하고, 이들을 모두 더하는 형태이기 때문에 음수가 반복적으로 더해져 긴 문장에는 자동으로 낮은 score가 할당된다는 단점이 있다.
또한 높은 확률의 token을 선택하여 문장을 생성하기 때문에 반복에 취약하고, 사람은 확률을 기반으로 말을 하지 않아 현실 세계와 부합하지 않는다는 단점이 있다.

Sampling

위 단점들을 개선하기 위해 Decoding 방법론에 Sampling을 적용한다. Sampling은 확률이 낮은 단어의 token들까지도 선택이 될 수 있도록 확률 분포에 따라 단어를 Random Sampling하는 것이다.

Temperature

그 첫 번째 방법으로 Temperature $\tau$를 사용한다. $\tau$의 범위는 $[0, \infin)$이다.

위 식과 같이 $\tau$로 나누어 Softmax를 적용하는데, 두 경우로 나뉜다.
τ > 1
출력 확률 분포를 보다 평탄하게 만들어 흔치 않은 단어가 등장할 확률을 높인다. 결과적으로 생성 문장의 다양성이 증가한다.
이때 $\tau → \infin$이면 Uniform 분포가 된다.
τ < 1
출력 확률 분포의 차이를 보다 극대화한다. 따라서 원래 나와야 할 단어의 확률이 증대되어 생성 문장의 정확성이 증가한다.
이때 $\tau → 0$이면 One-hot 분포가 되어 Greedy Decoding과 동일한 형태가 된다.

위 두 가지 내용은 아래 그림으로 보다 잘 이해할 수 있을 것이다.

출처: Shivam Mehta github.io

Top-k Sampling

생성 확률이 높은 token을 k개만 선택하여 그 중에서만 Sampling을 수행한다. 하지만 확률의 차이가 큰 분포의 경우에는 너무 희소한 단어가 출력될 수 있고, 확률의 차이가 작은 분포의 경우에는 비슷한 확률임에도 배제되어야 하는 부작용이 존재한다.

Top-p Sampling

Nucleus Sampling이라고도 불리는 Top-p Sampling은 Top-k Sampling의 부작요을 완화하기 위해 고안되었다. Sapling할 token들의 누적 확률합이 p가 될 때까지 token들을 선택하는 것이다.
따라서 확률의 차이가 큰 분포의 경우에는 적은 수의 token들이 후보가 될 것이고, 확률의 차이가 작은 분포의 경우에는 많은 수의 token들이 후보가 될 것이다.
이는 p를 적절하게 설정함에 따라 희소한 확률을 가지는 token을 배제하는 역할 또한 수행할 수 있다.