• LM

  • 문장에 확률 부여하는 모델
    → 특정 상황에서 적절한 문장 단어 예측 가능.
  • 하나의 문장은 여러개의 단어로 구성
  • joint probability

• 고정된 크기의 Context Vector 사용

• Context Vecotr로부터 디코더가 번역 결과 추론

• 긴 문장 처리 용이

• 인코더 마지막 Hidden State만을 Context Vector 활용

• 인코더 디코더 → 서로 다른 Parameters(Weight)

• 시작 sos, 끝 eos

• rnn 대신 LSTM

• 입력 문장 거꾸로 했을 때 더 높은 정확도

  • 앞쪽에 위치한 단어끼리 연관성 높기 때문

• 본 논문 이후엔 입력 시퀀스 전체에서 정보 추출

Abstract

• Sequence Learning에 end to end approach 제안
• LSTM 4번 쌓음
• 문장 거꾸로 → 성능 향상
  • 학습 난이도 낮춰줘서

Introduction

• 통계적 모델보다 Neural Network이 복잡하지만 좋은 성능
• 단 이는 입출력 차원 고정된 경우 많다→ Sequential Problem에서 한계
  • 미리 문장의 길이를 알지 못하기 때문
  • speech recognition and machine translation
• LSTM으로 Input Sequence에서 Context Vector(Large fixed- dimensional vector representation) 추출 후 Decoder의 또 다른 LSTM으로 출력 시퀀스 뽑아 ⇒ Entire Input Sequence → Vector
  
• LSTM + SMT → 성능 향상
• 문장의 순서 뒤집음 → Very Long Sequence에 영향X
• {가변 길이 입력 시퀀스 → 고정 크기 벡터}를 학습

The Model

3가지 특징

1. LSTM 2개
   1. 입력 시퀀스, 출력 시퀀스
2. 4 layered LSTM
   1. Shallow < Deep
3. 입력 문장 거꾸로

Experiments

• 영어 → 불어 번역 task

Conclusion

• Deep LSTM > SMT