RNN

Bostcamp-RNN

시퀀스 데이터

• 소리, 문자열, 주가 등의 데이터를 시퀀스 데이터로 분류
• 시퀀스 데이터는 독립동등분포(i.i.d.) 가정을 잘 위배하기 때문에 순서를 바꾸거나 과거 정보에 손실이 발생하면 데이터의 확률분포도 바뀌게 된다.
• 시퀀스의 정보를 가지고 앞으로 발생할 데이터의 확률분포를 다루기위해 조건부확률을 이용할 수 있다.
  

Recurrent Neural Network

• 가장 기본적인 RNN 모형은 MLP와 유사한 모양
• 과거의 정보를 다룰 수 없다.
  
• 과거의 정보를 다루는 방법
• 잠재변수와 현재의 입력을 활용
  
• RNN의 역전파
• 순차적으로 계산 ( BPTT )
  

BPTT
BPTT를 통해 RNN의 가중치행렬의 미분을 계산하면 미분의 곱으로 이루어진 항이 계산된다.

• 시퀀스 길이가 길어지면 불안정해질 수 있다.
  
• 불안정적해 지는 기울기 소실의 해결책
• 몇 개의 gradient를 끊는 것
• 완전히 해결되는 것은 아님 ( LSTM, GRU로 해결 )