Week3 Day4

📋 $Recurrent$ $Neural$ $Network$

📌 $RNN$

• $RNN$ 은 이전 순서의 잠재변수와 현재의 입력을 활용하여 모델링 합니다.
• $RNN$ 의 역전파는 잠재변수의 연결 그래프에 따라 순차적으로 계산된다.
  
  

📌$LSTM$

• 시퀀스 길이가 길어지는 경우 $BPTT$를 통한 역전파 알고리즘의 계산이 불안정 해지므로 길이를 끊는 것이 필요하다.
  
• $Forget$ $Gate$
  $f_t$의 역할은 $cell$ $state$에서 오는 정보중 어떤 것을 버릴지 결정하는 과정
  
• $Input$ $Gate$
  새로운 정보 $C_t$ 중 $i_t$를 통해서 어떤 정보를 올릴지 결정하는 과정
  
• $Update$ $Cell$
  $Input$ $gate$와 $Forget$ $gate$를 통과한 정보를 $cell$ $state$에 업데이트
  
• $Output$ $Gate$
  어떤 값을 밖으로 보낼지 결정하는 과정