[Week 4] RNN (nlp)

🚩 RNN

• 현재 시점의 입력 벡터 $x_t$와 이전 시점의 히든 벡터 $h_{t-1}$ 를 입력으로 받아서, RNN의 $W$ 파라미터 함수($f_w$)에 적용 ---> 출력: 현재 시점 히든 벡터 $h_t$
  < $h_t = f_w(h_{t-1}, x_t)$ >
• 특정 시점의 output 벡터 $y_t$는 문장의 감정 분석을 하는 경우,
  마지막 시점에서 감정 예측을 하게 된다. ($y_t$)
• RNN의 $f_w$는 모든 시점에서 같은 function과 parameters들을 공유한다.

🍏 Types of RNN

🚩 Character-level Language Model

입력 training sequence: hello
Vocabulary: [h,e, l, o] --> 4차원 원-핫 벡터 표현 가능

첫 time step에서 h가 주어지면 e를 예측해야 하고,
2번째 time step에서 h와 e가 주어지면 l를 예측
$h_t = tanh(W_{hh}·h_{t-1} + W_{xh}·x_t + b)$
$h_t$와 $h_{t-1}$의 차원을 3이라고 가정. (대부분 1씩 줄여서 한다 - 단어 2개씩 조합 )

• 첫번째 hidden layer ($h_0$)는 이전의 time step이 없으므로
  (이전 hidden) =[0,0,0] 으로 default 준다.

• 각 $h_t$에서 행렬 $W_{hh}$가 관여하고 $x_t$에서는 $W_{xh}$가 관여한다.

  

• output을 내기 위해서 각 time step의 hidden layer에 $W_{hy}$ 를 적용
  $Logit = W_{hy}·h_t + b$

• output layer의 노드 수는 vocabulary(사전)의 크기와 같다. (4차원)
  softmax를 취해서 다음 단어가 무엇인지 예측해 원-핫 벡터로 표기해야하니까!
  1번째 output layer [h: 1.0, e: 2.2, l:-3.0, o: 4.1] --> o로 예측
  하지만, target chars는 e이므로 두번째 확률을 높이도록 학습해야한다.

• $W_{xh}, W_{hh}, W_{hy}$ 가 역전파를 통해 값이 업데이트
  

• 현 time step의 예측값을 다음 time step의 input으로 재사용

  긴 문장들 같은 경우에, 단어 1byte 하나하나 vocabulary로 들어가고 공백 또는 . , 도 특수 문자로 들어가 1 dimension을 차지하게 된다.

🍏 역전파 (BPTT)

Backpropagation through time = BPTT

• sequence data다 보니 길이가 길어지면 한꺼번에 처리할 수 있는 정보가 한정적이라 정보가 다 담기지 못하는 문제 발생
  
  ---> 군데군데 잘라서 처리하기 위해 truncation 사용
• 제한한 길이의 시퀀스 데이터 집단을 순서대로 forward, BPTT 진행