# attention is all you need

heiswicked

NLP에 발을 담근 이상, 트랜스포머는 마주해야한다. 그런데 슬프게도 필자는 무엇부터 봐야할 지 알 수 없었다. 고민 끝에 밤 10시까지 사무실에 남아서 Seq2Seq부터 공부를 하기 시작했다. 시간이 없었다고, 가르쳐주지 않았다고 해서 모른다고 누군가 친절하게 나타

sujin_yun_

~진정한 물아일체~ Attention is all you need

s6820w

기존 seq2seq 모델인코더-디코더 구조인코더 : 입력 시퀀스를 하나의 벡터 표현으로 압축디코더 : 이 벡터 표현으로 출력 시퀀스 생성이 과정에서 입력 시퀀스의 정보가 일부 손실 가능이를 보정하기 위해 attention 사용$d\_{model}$(512) : tran

gromit_dev

시퀀셜 모델링을 어렵게 하는 문제들 Sequence는 뒤에가 잘리는 경우, 중간에 생략되는 경우, 어순이 바뀌는 경우 등이 존재 따라서 재귀적으로(recurrersive) 동작하는 RNN 계열의 경우에는, 이런 문제들을 반영해 학습하기가 어려웠음. Transform

shangrilar

자연어 처리! Transformer 에서 시작하자!

ohado

sqeunce to sequence 기반의 LSTM 모델을 대체할 수 있는 Transformer 모델의 의의와 작동 과정