Long Short-Term Memory(LSTM), Gated Recurrent Unit(GRU)

Long Short-Term Memory(LSTM)

Core Idea

• 주요 개념 : cell state 정보를 transformation을 거치지 않고 전달함으로써 long-term dependency 문제 해결
• time step이 먼 경우에도 필요한 정보를 효과적으로 처리하고 학습할 수 있도록 함으로써 gradient vanishing 및 explosion 문제 해결
  

What is LSTM?

• 단기 기억을 담당하는 기억 소자로, 보다 길게 기억할 수 있도록 개선한 model
• $h_t = f_w(x_t, h_{t-1})$
• ${C_t, h_t} = LSTM(x_t, c_{t-1}, h_{t-1})$
• $C_t$ : cell state vector의 완전한 정보를 가지고 있음
• $h_t$ : cell state vector를 한 번 더 가공하여 그 time step에서 노출할 필요가 있는 정보만을 남긴 filtering된 정보를 담는 vector

Long short-term memory

• cell state, hidden state vector 계산 위한 중간 결과물

  • $i$ : input gate. cell을 받음
  • $f$ : forget gate. cell을 지움
  • $o$ : output gate. 얼마나 cell을 공개시킬지 결정
  • $g$ : gate gate. 얼마나 cell을 사용할 것인지 결정

• $w$ : 선형 변환 위한 matrix

• $2h$ : $x_t$와 $h_{t-1}$ 모두 $h$의 dimension 가질 때. $(h+h)=2h$

• 각 gate는 cell state에서 흐를 수 있는 정보의 양 등을 결정
  

• $i, f, o, g$ vector들은 $C_{t-1}$를 적절하게 변환하는 데에 사용

• Forget gate
  
  - $f_t = \sigma(W_f\cdot[h_{t-1}, x_t]+b_f)$
  - $h_{t-1}$와 $x_t$가 만나는 곳에서 선형결합
  - $sigmoid$ 거친 뒤의 $f_t$에서는 forget하지 않을 정도 기록
  - (30%를 forget한다면 0.7로 기록)
  - $C_{t-1}$의 값과 $f_t$를 내적한 값을 $x$에 기록

• 생성된 정보들은 input gate에 의해 더해지거나 제외될 수 있음
  
  - $i_t = \sigma(W_i\cdot[h_{t-1}, x_t]+b_i)$
  - $\widetilde{C_t}=tanh(W_c\cdot[h_{t-1},x_t]+b_c)$ → -1에서 1 사이 값 가짐

• 이전 cell state에 현재의 정보를 추가함으로써 새로운 cell state 생성
  - $C_t=f_t\cdot C_{t-1}+i_t\cdot\widetilde{C_t}$
  - $f_t\cdot C_{t-1}$를 통해 필요한 정보만 유지

• cell state를 tanh 또는 ouput gate로 보냄으로써 hidden state 생성
  

• hidden state를 다음 time step으로 보내고, 필요하다면 output으로 내보내거나 next layer로 보냄
  - $o_t=\sigma(W_0[h_{t-1},x_t]+b_0)$
  - $h_t=o_t\cdot tanh(C_t)$, output layer의 입력
  - $C_t$는 기억해야 하는 모든 정보를 담고 있음

• dimension별로 적절한 비율만큼 값들을 작게 만들어서 최종적인 $h_t$ 구성

• 필요한 정보만을 담고 있음

Gated Recurrent Unit(GRU)

What is GRU?

• LSTM의 model 구조 경량화해서 적은 memory 요구량과 빠른 개선이 가능하도록 함
• LSTM의 $C_t$(Cell state vector)와 $h_t$(hidden state vector)를 $h_t$로 일원화
• 2개의 독립된 gate를 통해 하던 연산을 하나의 gate만으로 계산하도록 함
  
  - $z_t = \sigma(W_z\cdot[h_{t-1},x_t])$, input gate
  - $r_t = \sigma(W_r\cdot[h_{t-1},x_t])$
  - $\widetilde{h_t}=tanh(W\cdot[r_t\cdot h_{t-1},x_t])$
  - $h_t = (1-z_t)\cdot h_{t-1}+z_t\cdot \widetilde{h_t}$ (LSTM에서는 $C_t=f_t\cdot C_{t-1}+i_t\cdot \widetilde{C_t}$)
  - LSTM의 $f_t$가 $1-z_t$로 작용하여 가중평균 내는 형태로 계산됨
• input gate가 커지면 커질수록 forget gate에 해당하는 값이 작아짐
• hidden state vector $h_t$는 $h_{t-1}$과 $\widetilde{h_t}$로 계산됨

Backpropagation in LSTM/GRU

• 덧셈을 통해서 원하는 정보를 만들어줌으로써 gradient vanishing, explosion 문제 해결
  

Summary on RNN/LSTM/GRU

• RNN은 architecture design에 굉장히 유연함
• vanila RNN은 simple하지만 잘 작동하지 않음
• RNN의 기울기에 대한 backward flow는 explode와 vanish 가능성이 있음
• LSTM과 GRU는 gradient flow를 향상시켜줌