PyTorch Section 14

* 강사님의 자료는 저작권이 있기 때문에 배운 내용을 최대한 간단하게 정리하는 수준으로 작성하였습니다.

RNN

• 입력과 출력을 시퀀스 단위로 처리
• 시계열 데이터 분석, 문장 번역 등의 사용
• 최근에는 개선된 LSTM과 GRU 모델이 많이 사용됨

LSTM

• RNN의 Gradient Vanishing 문제를 개선
• 장기 의존성 해결 위해 Cell State 구조 구성
  • Forget Gate
  • Input Gate
  • Output Gate
• Forget Gate와 Input Gate에서 나온 두 값을 곱셈이 아닌 덧셈으로 계산하여, Back Propagation 시 Gradient Vanishing 문제 개선

GRU

• Reset Gate : 이전 상태 반영 정도 결정
• Update Gate : 이전 상태와 현재 상태 얼만큼의 비율로 반영할지 결정
• 계산량은 적지만 LSTM이 더 많이 사용됨

Bidirectional RNN

• RNN 두개가 쌓여있는 구조
  • 첫번째 RNN $\to$ forward mode
  • 두번째 RNN $\to$ backward mode

* written on July 5th