🧐 Attention, Transformer 정리 🧐

Transformer Model

RNN을 사용하지 않지만 seq2seq Model의 Encoder와 Decoder로 나누어진 구조를 따르면서 Attention만으로 구현한 모델으로, 양방향 변환 및 시퀀스 생성을 목적으로 한다.

seq2seq Model

입력된 시퀀스로부터 다른 도메인의 시퀀스를 출력하는 분야에서 사용되는 모델
대표적으로 번역기, 내용 요약, STT(Speech To Text) 등에서 사용한다.

Encoder-Decoder 구조로 이루어져 있으며, Encoder는 입력 문장의 모든 단어들을 순차적으로 입력받은 뒤에 마지막에 이 모든 단어 정보들을 압축해 하나의 벡터로 만든다. 이를 컨텍스트 벡터라고 하며, 입력 문장의 정보가 하나의 컨텍스트 벡터로 모두 압축되면 디코더로 전송한다. Decoder는 컨텍스트 벡터를 받아 번역된 단어를 한 개씩 순차적으로 출력한다.

참고-Wikidocs-seq2seq

하지만 seq2seq Model의 인코더-디코더 구조에서는 인코더가 입력 시퀀스를 하나의 벡터로 압축하는 과정에서 입력 시퀀스의 정보가 일부 손실된다. 이를 보완하기 위해 Attention을 사용하되, Attention만으로 인코더와 디코더를 구성한 모델이 Transformer Model이다.

seq2seq 구조에서는 인코더와 디코더에서 각각 하나의 RNN이 t개의 시점(time step)을 가지는 구조였다면, Transformer 구조에서는 인코더와 디코더라는 단위가 N개로 구성된다. 논문에서는 인코더와 디코더가 각각 6개 사용되었다.

시작 심볼 <sos>를 입력 받아 종료 심볼 <eos>가 나올 때까지 연산을 진행한다. RNN은 사용되지 않지만 인코더-디코더 구조를 유지되고 있음을 보여준다.

RNN이 자연어 처리에서 유용했던 이유는 단어의 위치에 따라 단어를 순차적으로 입력받아 처리하는 특성으로 인해 각 단어의 위치 정보를 가질 수 있었다는 점이었다.

Transformer는 단어 입력을 순차적으로 받는 방식이 아니다. 따라서 RNN을 사용하지 않으며, 단어의 위치 정보를 다른 방식으로 알려줘야 한다. 이때 사용하는 방식이 Positional Encoding이다.

Positional Encoding

단어의 위치 정보를 얻기 위해 각 단어의 임베딩 벡터에 위치 정보들을 더해서 모델 입력으로 사용

임베딩 벡터가 인코더의 입력으로 사용되기 전 포지셔널 인코딩 값이 더해진다.

ex) '위에서 아래' > 위 + 1번 단어 인코딩, '아래에서 위' > 위 + 3번 단어 인코딩
-> '위에서 아래'와 '아래에서 위' 구분 가능

Attention

모델 성능 향상을 위해 문맥에 따라 집중할 단어를 결정하는 방식
디코더에서 출력 단어를 예측하는 매 시점마다 인코더에서의 전체 입력 문장을 다시 한 번 참고한다. 단, 전체 입력 문장을 전부 다 동일한 비율로 참고하는 것이 아니라, 해당 시점에서 예측해야할 단어와 연관이 있는 입력 단어 부분을 더 집중해서 보게 된다.

Attention Function

주어진 Query에 대해 모든 Key와의 유사도를 각각 구한 뒤, 이 유사도를 가중치로 하여 Key와 맵핑되어 있는 각각의 Value에 반영해준다. 이 Value를 모두 가중합하여 리턴한다.

Attention(Q, K, V) = Attention Value

Query

해당 단어가 다른 단어들과 얼마나 연관이 있는지 나타내는 값

Key

각 단어가 어떤 의미를 가지고 있는지 나타내는 값

Value

해당 단어의 실제 의미를 나타내는 값(유사도)

ex) 호텔에서 체크인을 하고 키를 받아 방에 들어가 술을 마신다.
1. 프론트에서 "123호 예약자인데 체크인해도 될까요?" => 질문 = Query
2. 직원이 123호의 열쇠를 준다. => 123호의 열쇠 = Key
3. 123호에 들어가 안에 있는 술을 마신다. => 술 = Value

인코더의 셀프 어텐션 : Query = Key = Value
디코더의 마스크드 셀프 어텐션 : Query = Key = Value
디코더의 인코더-디코더 어텐션 : Query : 디코더 벡터 / Key = Value : 인코더 벡터

Self-Attention

Attention 중 자기 자신에게 Attention 메커니즘을 행하는 방식
문장에서의 단어들의 연관성을 알기 위해 다른 단어와의 관계로 자신을 표현하는 것이며, 각 단어가 다른 모든 단어와의 관계를 학습한다.

여기서 Multi Head는 Transformer는 Attention을 병렬적으로 수행하는 방법을 의미한다.

ex) The animal didn't cross the street because it was too tired.
여기서 it이 가리키는 단어가 animal임을 컴퓨터가 알 수 있도록 하기 위해 self-attention을 한다.

Self-Attention 계산 과정

Q : 입력 문장의 모든 단어 벡터들
K : 입력 문장의 모든 단어 벡터들
V : 입력 문장의 모든 단어 벡터들

Self-Attention은 Query, Key, Value의 시작 값(벡터의 출처)이 동일하다. 중간에 학습 가중치 w값에 의해 최종적인 Query, key, Value가 서로 다르게 된다. 즉, 초기 값은 같으나 학습을 통해 값이 달라진다.

1. 원하는 문장을 임베딩, 학습한다.
2. 각 Query, Key, Value에 맞는 가중치 w들을 구한다.
3. 각 단어의 임베딩의 Query, Key, Value(Query=Key=Value)와 가중치 w를 내적해 최종 Q, K, V를 구한다.
4. Attention score 공식을 통해 각 단어별 Self Attention Value를 도출한다.
5. Self Attention Value의 내부를 비교하면서 상관관계가 높은 단어들을 도출한다.

참고-Self Attention

Multi-head Attention

Attention을 병렬적으로 사용하였다는 의미

한 번의 Attention보다 여러 번의 Attention을 병렬로 사용하는 것이 더 효과적이라 판단해 모델의 차원을 num_heads개로 나누어 모델 차원/num_heads개의 차원을 가지는 Q, K, V에 대해 num_heads개의 병렬 Attention을 수행한다.

이를 통해 각 Attention을 수행한 결과로부터 각기 다른 관점의 정보를 수집한다. Attention을 수행한 출력을 Attention Head라고 하며, Multi Attention을 모두 수행한 후 Head를 연결한다.

Masked Multi-Head Attention

디코더의 첫번째 서브 층에 위치한 층

Transformer에서 문장 행렬을 한번에 받기 때문에 현재 시점의 단어를 예측할 때 미래 시점의 단어들도 attend 할 수 있게 되면서 잘못된 결과를 초래할 수 있다.

따라서 미래 시점의 단어를 Masking해 단어의 직전 출력들에 대해서만 Attention을 계산한다.

Scaled Dot-Product Attention

Attention Value를 Sacled Dot-Product Attention 방식으로 계산하되, 기존 Dot-Product Attention을 Query와 Key의 길이를 이용해 Scaling한다.

Query와 Key의 길이가 커질수록 내적 값 또한 커질 가능성이 높기 때문에 Softmax의 기울기가 0인 영역에 도달할 가능성이 높아진다. Softmax의 기울기가 0이되면 기울기 소실 문제가 발생해 학습이 멈출 수 있다. 이러한 현상을 해결하기 위해 내적의 값이 Softmax의 기울기가 0인 영역까지 도달하지 못하도록 Scaling한다.

이를 통해 입력 문장에 의미가 없는 값을 연산에서 제외한다.

참고-Scaled Dot-Product Attention

Position-wise FFNN

Fully-connected Feed-forward Neural Network이며, 순방향 신경망
인코더와 디코더에서 공통적으로 가지고 있는 서브층

Multi-Head Attention을 수행하여 얻은 각 Head는 자신의 관점에 따라 정보가 치우쳐저 있다. 이때 Position-wise FFNN은 각 Head가 만들어낸 Attention을 치우치지 않게 균등하게 섞는 역할을 한다.

Add & Norm

각 서브 층을 거친 후에 적용되며, 잔차 연결, 층 정규화를 의미

잔차 연결

서브 층의 입력과 출력을 더하는 것

행렬의 연산으로 Multi-head Attention, FFNN 등을 구하고, 마지막에 가중치인 W를 구해서 입력값과 출력값을 동일한 차원을 가지게 한다.

층 정규화

잔차 연결을 거친 후 거치게 되는 과정

Tensor의 마지막 차원에 대해 평균과 분산을 구해 이를 수식을 통해 값을 정규화해 학습에 도움을 준다.

참고-Transformer
참고-잔차 연결과 층 정규화

Encoder

입력 문장의 의미를 이해하고 벡터로 추출하는 것을 목적

num_layers 개수의 인코더 층을 쌓는다. 총 6개의 인코더 층을 사용했으며, 인코더는 Position-wise FFNN(포지션 와이즈 피드 포워드 신경망), Multi-head Attention으로 구성된다.

대표적으로 BERT가 Transformer의 Encoder 구조를 중심으로 발전했다.

Decoder

Encoder의 결과를 해석해 목표 문장을 생성하는 것을 목적
이때 목표 문장은 Encoder의 문맥을 바탕으로 다음에 올 단어를 예측한 것이다.

디코더는 3개의 서브 층으로 이루어지는데, Masked Multi-Head Attention층과 인코더와 동일한 층 2개(Position-wise FFNN, Multi-head Attention)를 가진다.

대표적으로 GPT, LLM이 Decoder 구조를 중심으로 발전했다. 이때 생성을 목적으로 하기 때문에 학습한 데이터에서 결과를 도출할 수 없을 경우 엉터리 결과를 도출하기도 한다. 이를 할루시네이션이라고 하며, 이를 해결하기 위해 Vector DB(RAG), Tool Calling을 사용한다.

참고-Wikidocs-Transformer

---

이어서 Transformer를 기반으로 발전한 Model들에 대해 살펴볼 것이다. 👀