[DL] Recurrent Neural Network?

sequence data - 연속적인 데이터
ex) speech reconition , Music generation , sentiment classification,Machine translation, Video activity recognition

1. RNN Model

Sequence data를 Time 으로 표현

왜 Sequence한 데이터는 standard Network 적용이 어려운가?

• text의 배치가 달라 feature들간의 위치정보를 사용할 수 없다.
• input과 output 의 길이가 다르다

↓ ↓ ↓ ↓ ↓ New Neural Network ↓ ↓ ↓ ↓ ↓

• input length = output length
• 모두 같은 Weight 적용
• Forward propagation
  
• a(t) 간단히 말하면 = 이전 정보 a(t-1)의 요약 & 현재 입력 x(t) 정보
• 이런과정이 input length Tx 만큼 진행

Simplified RNN Notation

• RNN의 구조는 일종의 메모리 형태로 저장할 수 있다는 점이다. -> 앞에서 얻는 정보가 뒤에서 얻은 데이터와의 연관관계를 가지는 데이터를 다룰때 강력한 효과를 가지는데 RNN은 앞의 정보만 저장할 수 있으며 뒤에 정보를 저장하기 위해서는 Bidirectional RNN 구조를 이용할 수 있다.

2. Backpropagation Througth Time

Backpropagation chain Rule ?

시간축이 길 수록 늘어난다 .
if input Time(Tx)가 크면역전파의 길이가 증가하게 되며,
if 앞단의 미분값이 작으면 -> 계속 작아질 것이며 학습이 느려질 수 있다.