# Sequence Model

qtly_u

원문 : Vaswani, Ashish, et al. “Attention is all you need.” Advances in neural information processing systems. 2017. 본 글은 Google Brain에서 2017 NIPS에 발표한 Attention is All You Need 논문에 대한 리뷰입니다. RNN 모델의 장기 의존성 문제(long-term dependency)를 극복하기 위해 제안된 Transformer는 BERT나 GPT의 기반이 되는 모델입니다. 다시 읽으면서 제가 이해한대로 정리해보겠습니다. 초록(Abstract) 성능 좋은 시퀀스 변환 모델은 대체로 인코더와 디코더를 포함한 복잡한 RNN 또는 CNN 신경망에 기반을 두고 있음 해당 논문은 recurrence와 convolution 을 전부 제외하고