Transformer(트랜스포머)

📌 Attention is all you need (2017, 구글)
📌 RNN 구조를 사용하지 않고 Attention만으로 구현한 모델
📌 기존의 seq2seq 모델에서 인코더는 입력 시퀀스를 하나의 벡터 표현으로 압축하는데 이 과정에 서 입력 시퀀스의 정보가 일부 손실된다는 단점이 있음. 이를 보완하기 위해 어텐션만으로 인코 거와 디코더를 구성하는 모델을 제안
📌 multi-head self-attention를 이용한 병렬처리가 특징

개요

▪ encoder와 decoder

▪ encoding은 여러 개의 encoder를 쌓아 올려 만든 것, 논문에서는 6개 쌓아올림, decoding은 encoding과 동일한 개수만큼의 decoder를 쌓은 것
▪ encoder 구조: encoder들은 모두 같은 구조를 가지나 동일한 weight을 공유하지 않는다.
2개의 sub-layer를 가짐(self-attention layer, feed forword neural network layer)

▪ decoder 구조: 3개의 sub-layers를 가짐(self-attention layer, encoder-decoder-attention layer, feed forward layer)

트랜스포머의 입력

📌 트랜스포머는 단어 입력을 순차적으로 받지 않기 때문에 단어의 위치 정보를 다른 방식으로 알려줄 필요가 있음
📌 positional encoding(포지셔널 인코딩): 단어의 임베딩 벡터에 위치 정보들을 더하여 모델의 입력으로 사용하여 단어의 위치 정보를 전달, 같은 단어라도 포지셔널 인코딩 값이 달라지고 임베딩 벡터 값이 달라짐 따라서 순서 정보가 반영됨

📌 positional encoding 값 구하기


▪ 포지셔널 인코딩은 사인 함수와 코사인 함수를 이용해 구함.
▪ pos:입력 문장에서의 임베딩 벡터의 위치
▪ i:임베딩 벡터 내의 차원의 인덱스, 인덱스가 짝수인 경우는 사인 함수 값을 사용하고, 홀수인 경우는 코사인 함수 값을 사용
▪ d_model:트랜스포머의 모든 층의 출력 차원을 의미하는 하이퍼파라미터, 논문에서는 512 값을 사용

트랜스포머에서 사용되는 어텐션 이해하기

📌 encoder self-attention:인코더를 구성하며 입력으로 들어간 문장 내 단어들이 서로 유사도를 구한다.
📌 decoder self-attention:디코더를 구성하며 단어를 1개씩 생성하는 디코더나 이미 생성된 앞 단어들과의 유사도를 구한다.
📌 encoder-decoder attention:디코더를 구성하며, 디코더가 잘 예측하기 위해서 인코더에 입력된 단어들과 유사도를 구한다.
📌 어텐션을 위한 세 가지 입력 요소:쿼리(Query), 키(Key), 값(Value)

self-attention

📌"그 동물은 길을 건너지 않았다 왜냐하면 그것은 너무 피곤했기 때문이다"
이 문장에서 그것은 길을 말하는 걸까 아니면 동물을 말하는 걸까? 사람에게는 간단한 질문이지만 신경망 모델에게는 그렇지 않다. 그것이 동물 또는 길에 해당하는지는 유사도에 의한 확률 값으로 알 수 있다. 유사도를 구하는 식은 다음과 같다.

📌Q:쿼리(Query), K:키(Key), V:값(Value), X:입력벡터 시퀀스
▪셀프어텐션은 쿼리, 키, 밸류 3개 요소 사이의 문맥적 관계성을 추출하는 과정
▪쿼리, 키, 밸류를 구하는 식은 다음과 같다.

▪이 때 입력벡터 시퀀스를 다음과 같다고 가정하자.

▪쿼리는 다음과 같이 구한다. 좌변이 입력벡터 시퀀스이고 우변이 W_Q에 대응한다.

▪키는 다음과 같이 구한다. 좌변이 입력벡터 시퀀스이고 우변이 W_K에 대응한다.

▪밸류는 다음과 같이 구한다. 좌변이 입력벡터 시퀀스이고 우변이 W_V에 대응한다.

▪W_Q, W_K, W_V는 학습 과정에서 업데이트된다.



▪d_k 값은 d_model/num_heads라는 식에 따라 구하며 여기에 루트를 씌운 값으로 계산한다.
▪d_model/num_heads 값은 Q, K, V 벡터의 차원과 동일하다.
▪추가로 쿼리는 타깃 언어 문장의 단어 벡터 시퀀스, 키는 소스 언어의 문장의 단어 벡터 시퀀스에 해당한다.
▪쿼리와 키를 행렬곱(dot product)한 뒤 해당 행렬의 모든 요소값을 키 차원수의 제곱근 값으로 나눠주고, 이 행렬을 행(row) 단위로 소프트맥스(softmax)를 취해 스코어 행렬을 만들어준다. 이 스코어 행렬에 밸류를 행렬곱해 줘서 어텐션 값(Attention Value)을 구한다. softmax 함수를 사용한 이유는 유사도를 0과 1사이의 값으로 Normalize 하기 위함이다.

📌 위와 같이 내적(dot product)을 통해 단어 벡터 간 유사도를 구한 후 특정 값을 분모로 나눠주는 방식으로 Q와 K의 유사도를 구했다하여 스케일드 닷 프로덕프 어텐션(Scaled Dot Product Attention)이라고 한다. 특정 값을 분모로 나누지 않은 어텐션은 닷 프로덕트 어텐션(dot product attention)이라고 부른다.

The Beast With Many Heads(병렬로 어텐션 수행하기)

📌 self-attention layer에다 "multi-headed" attention 메커니즘을 더해 attention layer의 성능을 향상시킴

📌 그리스로마신화에 등장하는 괴물 히드라나 케로베로스는 머리가 여러개라 상대방을 여러 시점에서 볼 수 있다. 멀티 헤드 어텐션도 어텐션을 병렬로 수행해 다른 시각으로 정보들을 수집하겠다는 것이다. 앞서 언급한 '그 동물은 길을 건너지 않았다. 왜냐하면 그것은 너무 피곤하였기 때문이다.'를 상기해 보면 각각의 어텐션 헤드는 '그것(it)'과 '동물(animal)'과의 연관도를 높게 보기도 하고 '그것'과 '피곤하기 때문이다(tired)'의 연관도를 높게 보기도 하기 때문에 다른 시각의 정보를 모아 '그것'이 무엇을 뜻하는지 더 정확하게 찾아낸다.

📌 한번에 d_model 차원의 어텐션을 수행하지 않고 d_model을 num_heads로 나눠 차원 축소시킨 벡터로 여러번 어텐션을 수행. 즉, 어텐션을 num_heads 만큼 병렬로 수행.(num_heads는 hyperparameter) 이 때 각각의 어텐션 값 행렬을 어텐션 헤드라고 부른다. 그리고 가중치 행렬 W_Q, W_K, W_V의 값은 어텐션 헤드 마다 모두 다르다.

📌 병렬 어텐션을 모두 수행하였다면 모든 어텐션 헤드를 연결(concatenate)한다. 모두 연결된 어텐션 헤드 행렬의 크기는 (seq_len, d_model)이다.

마스킹(Masking)

📌 마스킹(Masking):특정 값들을 가려서 실제 연산에 방해가 되지 않도록 하는 기법, 트랜스포머에선 패딩 마스킹(Padding Masking)과 룩 어헤드 마스킹(Look-ahead masking, 다음 단어 가리기) 사용

📌 1.패딩 마스킹(Padding Masking)

✔입력 문장에 가 있을 경우 어텐션에서 제외하기 위한 연산, 는 실질적인 의미를 가진 단어가 아니기 때문에 토큰이 존재한다면 이에 대해서는 유사도를 구하지 않도록 마스킹(Masking) 해줌

✔ 패딩 마스킹 구현 함수

> def create_padding_mask(x):
mask = tf.cast(tf.math.equal(x, 0), tf.float32)
# (batch_size, 1, 1, sequence length)
return mask[:, tf.newaxis, tf.newaxis, :]

print(create_padding_mask(tf.constant([[1, 21, 777, 0, 0]]))) #임의의 정수 시퀀스 인자로 넘겨줌

tf.Tensor([[[[0. 0. 0. 1. 1.]]]], shape=(1, 1, 1, 5), dtype=float32) #결과  

✔tf.math.equal(x, y) => x, y의 요소를 비교해서 동일하면 truth, 다르면 false 반환
✔tf.cast(x, dtype) => 지정한 데이터형으로 true는 1.을 false는 0.을 반환

📌 2.룩 어헤드 마스킹(Look-ahead masking, 다음 단어 가리기)

✔ RNN은 각 step마다 단어가 순서대로 입력으로 들어가는 구조 반면에 트랜스포머는 문장 행렬을 만들어 한 번에 행렬 형태로 입력으로 들어감 이런 특징 때문에 마스킹(Masking)을 필요로한다.

✔ RNN 입력 구조
첫 번째 step
현재까지의 입력 : what → 출력 : is

두 번째 step
현재까지의 입력 : what is → 출력 : the

세 번째 step
현재까지의 입력 : what is the → 출력 problem

✔ 트랜스포머 입력 구조
트랜스포머는 전체 문장 행렬을 입력 받으므로 현재 시점 보다 미래에 있는 단어들을 참고하지 못하도록 룩 어헤드 마스킹 도입, 디코더의 첫번째 서브층에서 이루어짐, self-attention을 통해 얻는 attention score matrix에서 Q 뒤의 K 단어들에 대해 마스킹함

Encoder

📌 self-attention layer, feed forward neural network layer
📌 The Residuals
encoder 내의 sub-layer는 residual connection으로 연결되어 있고 그 이후 layer normalization 과정을 거침

📌 layer normalization
input의 평균과 분산을 구해서 batch에 있는 각 input을 정규화

Decoder

📌 디코더의 입력은 ①인코더 마지막 블록에서 나온 단어 벡터 시퀀스, ②이전 디코더 블록의 수행 결과로 도출된 타깃 단어 벡터 시퀀스
📌 decoder self-attention
번역하려는 언어(한국->영어 번역이면 영어에 해당)의 단어 벡터 시퀀스를 디코더 셀프 어텐션으로 계산, 'cafe' 다음으로 올 단어가 there임을 맞추는 과정 ex)I went to the cafe there. => I(0.01) went(0.01) to(0.02) ... (괄호안의 값은 어텐션 값)
📌 masked multi-head attention
소스 언어 문장(어제 카페 갔었어 거기 사람 많더라) 단어 벡터 시퀀스를 키로 삼고 타깃 언어 문장(I went to the cafe yesterday There...)의 단어 벡터 시퀀스를 쿼리로 삼아 셀프 어텐션 계산을 수행.(잊지말자 쿼리가 질문이고 답을 찾기 위해 참조하는 것이 키라는 것을...) 예를 들어 쿼리 안의 'cafe'에 대응하여 key 요소들은 셀프 어텐션을 통하여 확률값을 갖고 그 중 가장 높은 확률을 갖는 '카페'를 맞추는 것이다.

📌 학습시 디코더에서 수행되는 셀프 어텐션에는 단어 벡터 시퀀스에 마스킹이 적용된다. 이는 정답을 포함한 미래 정보를 셀프 어텐션 계산에서 제외하도록 트릭을 쓰는 셈이다. 마스킹이 적용된 단어정보는 확률값이 0이 되게 하여 해당 단어 정보가 무시되게끔 하는 방식으로 수행된다.


📌 decoder의 self-attention, encoder-decoder attention 모두 스케일드 닷 프로덕프 어텐션을 멀티 헤드 어텐션으로 병렬적 수행
📌 decoding은 각 스텝마다 출력된 단어가 다음 스텝의 decoder에 들어가고 여러 decoder layer를 통과하며 올라감. 를 출력할 때까지 반복된다.

Finally!! Linear Layer & Softmax Layer

📌 디코더의 최종 결과물인 벡터를 Linear Layer와 Softmax Layer를 통해 예측 단어로 바꿔준다.
📌 Linear Layer: fully-connected 신경망으로 디코더의 출력 벡터를 훨씬 더 큰 사이즈인 logits 벡터로 투영시킴. 예를 들어 10,000개의 영어 단어를 학습하였다고 가정하면 logits vector의 크기는 10,000이 됨. 벡터의 각 요소는 각 단어에 대한 점수
📌 softmax layer: logits vector의 각 셀들의 점수를 확률로 변환해주는 역할. 각 셀값들을 모두 더하면 1이 되고 가장 높은 확률 값을 가지는 셀의 단어가 최종 출력됨.

Reference
1.패딩마스크
2.디코더 이해하기
3.트랜스포머 논문 한국어 버전
4.나동빈님 트랜스포머 설명자료
5.위키독스 트랜스포머