RNN 동작

RNN의 가중치

• 입력층에서 은닉층으로 가는 과정에서 필요한 u
• 은닉층에서 은닉층으로 보내는 과정에서 필요한 w
• 두 행렬의 같은 행이 연산에 필요함

은닉층의 계산

• 현재입력과 입력 가중치를 연산한 값에 직전 은닉층 결과에 은닉층 가중치를 연산하고 바이어스텀을 더한 결과 값에 활성함수의 결과가 다음 연산에 넘길 은닉층 연산 결과

출력층 계산

• 은닉층에 연산된 값에 출력층 가중치를 연산하고 c 바이어스를 터해 출력값을 만듦
• 예측 확률분포를 소프트맥스를 통해 출력결과를 계산한 값

RNN 동작의 예

• 순차적 입력이 들어감

• 비선형 함수 tanh 동작

• Tanh 함수로 넘겨서 히든스테이트(메모리)를 통과

• 입력 + 은닉층 정보 갱신 동작

RNN의 기억(memory), 문맥 의존성

• 첫번째 입력이 변하면 은닉층에서 연산된 값이 다음 은닉층 연산에 영향을 주기 때문에 은닉층 연산값 모두가 바뀌고
• 따라서 예측값도 전부 바뀜
• RNN이 입력값을 기억한다고 할 수 있음
• 결과적으로 과거에 입력된 입력값이 현재, 앞으로 입력될 입력값과 상호작용을 함