simple RNN

순환신경망
- 활설화 신호가 입력에서 출력으로 한 방향으로 흐르는 피드포워드 신경망
- 순환 신경망은 뒤쪽으로 연결하는 순환 연결이 있음
- 순서가 있는 데이터를 입력으로 받고
- 변화하는 입력에 대한 출력을 얻음

메모리셀

순환 뉴런의 출력은 이전 시간의 모든 입력에 대한 함수이므로 이를 메모리 형태라고 말할 수 있음
타임스텝에 걸쳐서 어떤 상태를 보존하는 신경망의 구성 요소를 메모리셀

sequence- to - vector 형태

출력을 시퀀스가 아니라 벡터로 출력

인코더-디코더

RNN의 한 셀의 모양

simpe RNN의 단점

1. 입력 데이터가 길어지면 학습 능력이 떨어진다.( LONG-TERM DEPENDENCY 문제)
2. 현재의 답을 얻기 위해 과거의 정보에 의존해야 하는 RNN이지만, 과거 시점이 현재와 너무 멀어지면 문제를 풀기 어렵다.

LSTM

cell state

LSTM의 핵심 아이디어이다!

cell state를 제어하는 gate

forget gate

input gate

update cell state

output gate