📖 학습한 내용

• LSTM

📖 핵심내용

📌 LSTM

Gate

• Input Gate, Forget Gate, Output Gate
  주로 남기는 정보량은 Forget Gate 에서 조절한다.
  히든스테이트와 계산되는 것은 아웃풋 게이트

• Forget Gate
  0~1사이의 값을 반환하는 sigmoid함수 사용
  
  
  -> 아다마르곱 : 같은 자리만 곱해진다. 내적과 비슷하지만 더하지는 않음

• Input Gate
  

기억셀 (memory cell)

벡터
Gate 를 통해 업데이트
히든스테이트와 같이 업데이트된다.
기억셀은 하나의 벡터 (원소의 수 = hidden state 원소의 수 = LSTM 층에 존재하는 은닉 노드의 수)
기억셀이 가지고 있는 이전 정보를 삭제(또는 기억) and 새로운 정보를 추가

출력

• lstm (LSTM) 의 파라미토 값이 8320 인 이유
  각 게이트당 이전 히든스테이트와 입력값을 받는다.
  게이트가 3개인데 인풋게이트에서 2개를 받으므로 총 4개이다.
  따라서 (32*32 + 32*32 +32) * 4

📖 흥미로운 점 / 새로 알게된 점

• staked RNN
  RNN층이 2개라면 return = True 이여야한다.
  

📖 어려운 부분