Recurrent Neural Networks

Sequential Model

... + 이전 입력 + 현재 입력 + 다음 입력 + ...으로 점차 입력이 커진다.

Sequential 데이터는 길이가 언제 끝나는지 모르기 때문에 차원이 정의되지 않는다.
-> Convolution neural network사용 못 함 : 데이터의 크기, 양을 모르기 때문

Hidden state가 포함되어있어 과거 정보를 summarize한다.

Recurrent Neural

자기 자신으로 돌아오는 구조가 하나 있다.

Recurrent Neural Network (RNN)

길이가 짧으면 RNN으로 다루기 쉽다.

하지만 길어질 수록 이전의 데이터를 유지하기는 힘들기 때문에 Long-term은 다루기 어렵다.
-> RNN의 단점

Long Short Term Memory ( LSTM )

Previous cell state는 외부로 나가지 않고, 내부에서만 작동함
time step t까지 정보를 요약하는 역할
LSTM은 3개의 gate가 있다.
Forget gate : 어떤 정보를 버리고 살릴지 판단함
Input gate : 정보중에 어떤 정보를 입력할지 판단함
Ouput gate : 어떤 값을 출력할지 판단함