Transformer란?

입력 방법이 병렬처리가 되어 있다 => 성능을 높일 수 있다.

성능 향상하는 방법

1. skip connection
2. layer nomalization

특징

1. 기계번역 task에서 기존의 연구들보다 성능적으로 우수
2. 병렬적으로 처리가 가능한 모델 -> time complexity 감소
3. 이후에 사용되는 bert, gpt 모델에서 일반화에 강점이 있다는 것이 확인

positional encoding