<Day4> Seq2Seq

Sequence model_1: Sentiment Classification
Sequence model_2: Sequence2Sequence model

기존 seq2seq 모델

• inpput 2개
  1) $h_{t-1}$(or context vector:디코터 RNN셀의 첫번째 은닉 상태에 사용됨)
  2) $s_{t}$

Attention Mechanism

어텐션의 기본 아이디어는 디코더에서 출력 단어를 예측하는 매 시점(time step)마다, 인코더에서의 전체 입력 문장을 다시 한 번 참고한다는 점입니다. 단, 전체 입력 문장을 전부 다 동일한 비율로 참고하는 것이 아니라, 해당 시점에서 예측해야할 단어와 연관이 있는 단어 부분을 좀 더 집중(attention)해서 보게 됩니다.

디코더의 세번째 LSTM셀은 출력 단어를 예측하기 이해 인코더의 모든 입력 단어들의 정보를 다시 한번 참고하고자 한다.

• input 3개
  1) $h_{t-1}$
  2) $s_{t}$
  3) attention value: 각 인코터의 어텐션 가중치와 은닉 상태를 가중합하여 구한 값