[Week 5] Transformer

🚩 Bi-Directional RNNs

🟨 Attention Module 동작 방식
1. 첫번째 I 단어의 입력 벡터가 $W^Q$를 만나 $q_1$ 쿼리 벡터로 변환된다.

2. I, go, home 3개의 입력 벡터가 각각의 $W^K, W^V$를 만나 3개의 key 벡터와 value 벡터로 변환된다.

3. query가 key에 적용돼서 유사도 및 softmax에 의한 가중치가 구해졌을 때, 첫번째 key ($k_1$)의 유사도가 적용되는 value 벡터 $v_1$ 존재
   → 쿼리는 하나로 고정되어있더라도, key와 value는 분리되어있지만 개수는 정확히 일치해야한다!

4. 쿼리 벡터와 각각의 key 벡터를 내적하여 3.8, -0.2, 5.9 유사도 값 도출

5. 그 내적값들을 softmax 레이어를 통과해 합이 1인 형태의 확률(가중치) 도출

❗️ 입력 벡터 $x_1$에서 생성된 쿼리 벡터, key 벡터임에도 불구하고, 해당 내적값이 다른 입력($x_2, x_3...)$ key벡터와의 내적값보다 작을 수도 있다.

6. 각 계산된 0.2, 0.1, 0.7 는 value 벡터에 부여되는 가중치로써, value 벡터의 가중 평균의 결과(선형 결합) = 최종 벡터 $h_n$

이러한 방식으로 I 단어에 대한 sequence 전체의 단어들을 적절히 고려한 encoding 결과 벡터 $h_1$ 생성
go 단어에 대한 encoding 벡터 $h_2$ 를 얻고 싶다면, key // value 벡터들은 동일하고 query 벡터만 go 단어에 대해 적용하면 된다.

self-Attention의 장점

• RNN의 long-dependency 문제를 극복
• 쿼리 벡터를 통해 멀리 있는 단어여도 손쉽게 그 정보를 가져올 수 있다.