Seq 2 Seq 모델은 다음과 같은 구조로 이루어져 있습니다.
🎧 입력을 받는 'Encoder'
🔉 출력을 반환하는 'Decoder'
이렇게 두 가지로 이루어져 있으며, 두 모델 모두 RNN으로 이루어져 있는 경우도 있습니다.
✔︎ long-term dependency를 해결한다고 해도,초반에 나타난 정보를 잘 기억하지 못한다는 단점이 있습니다.
✔︎ 인코더를 지나면서 주어부터 소실되어 버리면, 디코더는 입력값조차 제대로 전달받지 못하게 됩니다.
-> 문장을 뒤집어서 접근하면, 초반 단어들을 제대로 인식할 수 있습니다. 이에 해당하는 기법은 디코더의 입력층에서 적용시킬 수 있습니다.