[Week 4-4] 💬Transformer

4주차 목요일

• Transformer 개요

---

📝[Transformer 개요]

• 양방향 RNN
  기본 RNN은 문장을 왼쪽에서부터 처리하기 때문에 문장의 오른쪽에 있는 단어들에는 왼쪽 단어의 정보가 담긴다. 하지만 문장의 왼쪽에 있는 단어에 오른쪽 단어들의 정보를 담고 싶을 수도 있다. 이럴 때는 기본 RNN 이외에 오른쪽에서부터 문장을 처리하는 역방향 RNN을 하나 더 만들어서 두 RNN의 hidden state 벡터를 연결(concat)해서 사용한다. 시퀀스의 각 단어별로 이 벡터를 하나씩 갖게 되는데, 이것을 인코딩 벡터라고 한다.

• Transformer의 구조
  Transformer는 RNN을 사용하지 않고 Attention만을 사용해서 자연어를 처리할 수 있는 모델이다. seq2seq 모델에서는 인코더와 디코더가 RNN이었는데, Transformer의 인코더와 디코더는 Attention으로 이루어져 있다. 입력된 시퀀스의 각 단어가 어텐션 모듈을 통과하면 각 단어별로 시퀀스 단어에 대한 정보가 반영된 인코딩 벡터를 얻을 수 있다.
  
  📌 이 때 인코더에서 self-attention이 일어나는데 아직 이게 뭔지 잘 모르겠다. 더 공부해서 채워넣을 것.

---

👨‍👩‍👧‍👦[피어 세션]

그저께 팀원 중 한 분의 모델이 loss가 너무 크고 학습이 잘 되지 않는 문제가 있었는데, 해결되었다고 한다. 화면을 함께 보면서 이야기했다.

• 데이터를 불러올 때 무조건 3채널 이미지로 가정하고 불러왔는데 개중에 1채널 grayscale 이미지가 섞여 있었고 이 이미지를 3채널로 확장시키는 과정에서 정규화가 잘 되지 않는 등의 문제가 발생했던 거였음
• batch normalization을 활용해서 정확도가 향상됨

batch normalization의 효과가 궁금해서 피어 세션이 끝나고 나서 좀 찾아봤다.

레이어를 깊게 쌓을 경우 이전 레이어에서의 파라미터 변화가 계속 누적되면서 후반 레이어에서는 그것이 증폭되어 Internal Covariate Shift(레이어를 통과할 때 마다 Covariate Shift 가 일어나면서 입력의 분포가 약간씩 변하는 현상, 이 블로그를 참고함) 이 발생할 수 있다고 한다. batch normalization을 사용하면 이 현상을 줄일 수 있고, 정규화된 데이터를 사용하기 때문에 학습에 걸리는 시간을 단축시킬 수 있어 이미지를 처리하는 CNN 모델에 많이 사용한다고 한다.