[NLP 강의] #1 Transformer

정다샘 교수님의 NLP 강의를 정리한 내용입니다.

Transformer

rnn의 한계

Attention

positional embedding

https://www.youtube.com/watch?v=1biZfFLPRSY
를 참고해도 좋다.

Nonlinearitiy

mask

structure

Encoder