부캠 TIL 0812 - RNN, LSTM

RNN

ht = wx * x + wrec * ht-1
문제 : short term dependency

LSTM

• forget gate
  sigmoid, 얼마나 잊을지 몇퍼센트정도 잊을지
  
• input gate
  sigmoid, 얼마나 기억할지
  

보충

• update cell
  f(얼마나잊을지)Ct-1(이전 cell state) + i(얼마나 기억할지)Ct
  를 통해 현재 cell state 만들어짐

• output gate

다음으로 전해질 hidden
Ot(output)*tanh(c)(현재 cell state 얼마나 반영)

GRU

cell state가 없다. output gate가 없다.
LSTM 보다 GRU가 좋은 경우가 많다. -> 파라미터수가 더 적기 때문에

• reset gate
• updae gate

질문

1. 이해가 안됌 이걸 굳이 해줘야되나?
   

2. output나올때 cell state 안쓰이네..? 왜 힘들게 cell state 만듬?