🧚 Transformer / Attention is all you need

1. Transformer의 핵심 아이디어

트랜스포머 모델의 핵심적인 아이디어는 Attention 메커니즘이다.

Attention 메커니즘은 모델이 입력 시퀀스의 모든 부분에 동일하게 주목하는 것이 아니라, 각 시점에서 어떤 부분에 주목해야할지 학습하는 것이다.

이 메커니즘'만'으로 구현된 트랜스포머가 왜 강력한지 이해하기 위해서 기계번역의 역사를 이해할 필요가 있다.

2. History

위의 그림은 트랜스포머가 출현하게 된 배경을 도식화한 것이다!

(1) Seq2Seq with Attention

기존의 Seq2Seq 모델은 LSTM을 활용하여 고정된 크기의 컨텍스트 벡터를 사용하여 입력 시퀀스의 정보를 압축했다.

이때 소스 문장의 길이가 긴 경우 병목 현상이 발생하여 성능 하락을 야기할 수 있다.
(소스 문장이 길어질수록 정보 소실 발생)

입력 시퀀스가 해리포터 책 한권인 경우와 'I love you'인 경우를 생각해보자.
컨텍스트 벡터(입력시퀀스의 요약)가 고정된 크기라면 두 입력을 동일한 길이로 요약해야한다. 감히 누가 해리포터를 짧게 요약해
따라서 이 문제를 해결하기 위해 출력 문장을 생성할 때 입력 시퀀스에서의 출력 전부를 입력으로 받아들였다.

Attention 메커니즘은 디코더가 인코더의 모든 출력을 참고하여 인코더의 모든 출력 중 어떤 부분에 ‘attention’을 기울여야할지 계산한다.
이러한 Attention 가중치를 사용하여 각각의 출력이 어떤 입력 정보를 참고했는지 알 수 있다.

(2) Transformer

앞서 Seq2Seq with Attention 구조에서 Attention이 서브였다면(RNN을 보조하기 위한 용도로 사용되었다면), 트랜스포머에서는 Attention이 주인공으로 승격한다!

말그대로 "Attention is all you need!"

즉, 트랜스포머는 RNN 없이 Attention만으로 인코더-디코더를 만든 모델이다.

그래도 명색이 서브가 주인공이 되려면 케파가 상승해야한다...!

그래서 트랜스포머에서는 어텐션은 3가지 기능이나 한다. (3가지 종류의 Attention)
1. Encoder Self-Attention
2. Masked Decoder Self-Attention
3. Encoder-Decoder Attention

각각의 기능과 동작에 대해선 이후 살펴보도록 하자.

3. 3종류의 Attention

(0) Self-Attention 개괄

Self-Attention은 입력 시퀀스의 각 단어가 다른 단어와 얼마나 관련 있는지를 계산한다.
이를 통해 각 단어에 대한 새로운 표현을 만들어낸다.
즉, Self-Attention은 각 단어와 문장 내 다른 단어들 간의 관계를 통해 문장 전체의 문맥을 파악하는 과정이다.

비유를 하자면, Self-Attention은 문장에 형광펜을 긋는 과정이다.
입력 시퀀스의 출력을 전부 입력으로 받아들이는 대신, 모델이 문맥을 파악해서 어떤 부분에 'attention'을 기울여야할지 형광펜을 쳐주는거다.
똘똘하고 기특하여라

Self-Attention의 작동 방식은 다음과 같다.

1. Q, K, V 벡터 얻기 : 각 입력 단어의 입력 임베딩에 가중치 행렬을 곱하여 Query 벡터, Key 벡터, Value 벡터를 얻는다.

2. Score 얻기 : Query와 Key의 dot product로 score를 얻는다. 이는 특정 입력 단어(Query)가 다른 입력 단어(Key)들과 얼마나 관련 있는지 나타낸다.

3. Weight 얻기 : Score를 softmax에 통과시켜 weight를 얻는다.

4. Value 얻기 : attention weight를 value 벡터와 곱하여 최종적으로 self-attention value를 얻는다.

Self-Attention Value는 특정 입력 시퀀스의 단어와 관련성이 높은 부분에 ‘어텐션’, 즉 주의를 기울인다는 말이다. 이 값을 통해 문장 내 개별적인 단어들 간의 복잡한 상호작용, 관계를 파악할 수 있다.
아까의 비유로 돌아가면, Self-Attention Value는 문장 내부의 구조와 문맥을 파악하여 이를 통해 문장에 ‘형광펜’을 치는 과정이다.

위 그림은 'it'에 대한 encoder self-attention의 분포를 시각화한 것이다.
사람은 쉽게 it이 animal을 지칭한다는 것을 알 수 있다.
하지만 컴퓨터가 인식하는 것은 숫자로된 벡터일뿐이다.
우리의 똘똘한 트랜스포머는 Self-Attention이라는 강력한 도구를 이용하여 it이 animal을 지칭한다는 것을 파악한다.
이렇게 attention value를 통해 문장 내 형광펜을 어디에 쳤는지 시각화할 수 있다는 것은 높은 정확도와 더불어 트랜스포머 모델의 장점이다.

그럼 이제 Attention의 3가지 능력치를 살펴보자!

(1) Encoder Self-Attention

Encoder는 입력 시퀀스 내 각 단어가 입력 시퀀스 내 다른 단어와 얼마나 관련있는지 계산한다. 입력 시퀀스가 자기 자신에 대해서 Attention을 계산해서 Self-Attention이라고 한다.

(2) Masked Decoder Self-Attention

Masked Decoder Self-Attention은 Decoder 내부에서 이루어진다.
이때 Mask는 decoder가 출력 시퀀스를 생성하는 동안 현재 위치보다 미래 위치에 있는 토큰 정보가 노출되는 것을 방지하기 위해 사용한다.
정답을 알고 시험을 치면 안되니까 이런 치팅을 방지하기 위해 현재 위치보다 미래 위치에 있는 토큰의 정보는 mask를 씌워 토큰 정보의 노출을 방지한다!

(3) Encoder-Decoder Attention

Decoder는 현재 위치/단어에서 encoder의 입력 시퀀스 내 각 단어 중 어떤 단어에 주목해야할지 알기 위해 Multi-Head Attention을 계산한다. 따라서 이때의 Attention은 인코더의 멀티-헤드 셀프 어텐션과는 달리 Encoder의 출력과 Decoder의 지금까지의 출력으로 계산한다.

인코더와 디코더의 멀티-헤드 어텐션의 기본적인 메커니즘은 동일하지만, 각 어텐션은 본질적으로 다른 작업을 수행한다.

• 인코더의 목적은 ‘문맥 포착’이다.
  입력 시퀀스를 고차원의 공간에 매핑하고, 각 단어가 입력 시퀀스 내 다른 단어들과 가지는 관계를 파악하여 문맥을 파악한다.
• 디코더의 목적은 ‘출력 시퀀스 생성’이다.
  이를 위해 현재 출력해야할 위치에서 인코더의 각 단어를 얼마만큼 참고해야할지 파악한다.

4. Positional Encoding

트랜스포머 모델은 순환 구조(RNN, LSTM)를 사용하지 않는다.
따라서 입력 단어의 순서/위치 정보가 반영되지 않는다.
하지만 자연어 처리에서 단어의 순서는 매우 중요하다. (예를 들어, I eat apples와 Apples eat I는 완전히 다른 의미를 지닌다)

그래서 트랜스포머는 입력 데이터에 위치 정보를 추가한다.
Positional encoding을 통해 모델은 단어가 입력 시퀀스 내 어디에 위치해있는지 알 수 있게 된다.

트랜스포머는 sine, cosine 함수를 사용하여 positional encoding을 수행한다.
짝수 인덱스(i)에는 sine 함수 값을 사용하고, 홀수 인덱스(i)에는 cosine 함수 값을 사용한다.
구체적으로 단어의 차원 i와 위치 pos에 대한 positional encoding 값은 다음의 공식으로 계산된다.

5. Architecture

(1) Input - Word2Vec

• Word Embedding 개념 : 단어 -> 저차원 벡터
• Word Embedding의 필요성

1. 컴퓨터는 단어가 아닌 숫자만 알아듣기에 각 단어를 숫자로된 벡터 형태로 바꿔줘야한다.
2. 원핫-인코딩으로 벡터화하면 너무 차원이 커지기에 단어의 의미를 보존하면서 저차원 벡터로 변환해야한다.

(2) Positional Encoding

• Positional Encoding의 필요성
  RNN 구조를 사용하지 않아서 입력 시퀀스의 순서 정보가 반영되지 않는다. 따라서 위치 정보를 추가해줄 필요가 있다.

(3) Encoder Block - Multi-Head Self-Attention

• Self-Attention Layer의 기능
  각 단어의 벡터들 간의 관계를 파악하여 단어의 의미와 문장 내 다른 단어들과의 관계를 고려한 벡터를 얻는다. 디코더는 이를 참고하여 번역문을 만듦으로써 보다 문장의 맥락과 중요도를 고려한 번역을 수행할 수 있다.
• Multi-Head Attention의 필요성
  백지장도 맞들면 낫다! Self-Attention을 통해서 단어들의 관계를 파악하여 문장의 맥락을 이해할 수 있지만, 하나만 사용할 경우 자기만의 생각에 갇힐 수 있다. 따라서 각 layer에서 나온 출력을 그대로 합한 뒤 또 다시 weight vector를 곱해서 하나의 vector로 만들게 된다. 마치, 다양한 의견을 가진 사람들이 토의를 거쳐서 안건을 도출하는 과정과 비슷하다.

(4) Encoder Block - Position-Wise Feed-Forward Network

• 특징 : 동일 encoder block 내에 들어온 모든 단어, 문장에 동일한 weight 적용 / 다른 encoder block 내에서는 다른 weight값 (병렬)

(5) Decoder Block - Masked Multi-Head Attention

• 필요성
  현재 위치에서 번역될 단어를 학습할때 미래 위치에 있는 토큰 정보의 정보를 치팅하는 것을 방지하기 위해서 Mask를 씌운다.

(6) Decoder Block - Encoder-Decoder Multi-Head Attention

• 필요성
  현재 위치의 단어를 출력하기 위해서 입력 시퀀스의 단어 중 어떤 단어에 주목해야할지 파악한다.

(7) Decoder Bock - Feed Forward Network

• 특징
  Encoder block과 마찬가지로 동일 decoder block 내에 들어온 모든 단어, 문장에 동일한 weight를 적용하고 다른 decoder block 내에서는 다른 weight값을 적용한다. (병렬)

(8) Linear + Softmax -> Output

Softmax를 통과하면 각 단어가 나타날 확률을 알 수 있다. 이 중 가장 높은 확률값을 출력으로 한다.

6. Conclusion

7. Citations

1. https://arxiv.org/pdf/1706.03762v5.pdf (Attention is all you need 논문)
2. 위키독스 트랜스포머 : https://wikidocs.net/31379
3. https://blog.promedius.ai/transformer/