어텐션 (Attention)

쿼리 벡터(Vq)
현재 시점에서 참조하고자 하는 정보의 위치를 나타내는 벡터
현재 시점에서 질문이 되는 벡터를 의미, 이 벡터를 기준으로 다른 시점의 정보를 참조

키 벡터(Vk)
쿼리 벡터와 비교되는 대상
쿼리 벡터를 제외한 입력 시퀀스에서 탐색되는 벡터가 된다.

값 벡터(Vv)
쿼리 벡터와 키 벡터로 생성된 어텐션 스코어를 얼마나 반영할지 설정하는 가중치

셀프 어탠션

1. 쿼리 벡터 키 벡터 내적
2. 루트 d 만큼 나눠 보정 (루트 d: 벡터 차원의 제곱근)
3. 소프트맥스 함수를 이용해 확률적으로 재표현
4. 이를 값 벡터랑 내적하여 셀프 어텐션 된 벡터를 생성

멀티 헤드: 각각의 헤드가 독립적으로 어텐션 수행하고 그 결과를 합친다.