📔 LSTM (Long Short-Term Memory)을 이해해보자 !

---

💎 Reference

http://www.incodom.kr/LSTM
https://dgkim5360.tistory.com/entry/understanding-long-short-term-memory-lstm-kr

---

LSTM 이란?

LSTM (Long Short Term Memory)은 기존의 RNN에서 출력과 멀리 있는 정보를 기억할 수 없다는 단점을 보완하여 장/단기 기억을 가능하게 설계한 신경망의 구조이다. 주로 시계열 처리나, 자연어 처리에 사용된다.

Recurrent Neural Network (RNN)

기존의 neural network는 이전에 일어난 사건을 바탕으로 나중에 일어나는 사건을 알지 못한다. RNN은 Input x가 들어가면 여러 번의 순환을 거처 output y가 나오는 구조이다. 이전 단계에서 얻은 정보가 지속할 수 있도록 체인과 같은 구조로 이루어져 있다.

RNN은 BPTT(BackPropagation Through Time) 역전파 방식을 모든 타임 스텝에 적용한다. 이는 타임 스텝이 크면 (오래전의 정보를 필요로 하면) 매우 깊은 네트워크가 되며 Gradient vanishing / exploding 문제로 이어질 수 있다. 또 장기적인 패턴을 학습할 수 없기는 문제를 해결하기 위해 장기간의 메모리를 가질 수 있는 LSTM Cell이 제안되었다.

LSTM Cell

LSTM도 RNN과 같은 체인 구조로 되어 있지만, 반복 모듈은 단순한 한 개의 tanh layer가 아닌 4개의 layer가 서로 정보를 주고받는 구조를 이루고 있다. LSTM Cell에서는 state가 크게 두 개의 벡터로 나누어진다. $h_t$ 를 단기 상태(short-term state), $C_t$ 를 장기 상태(long-term state)라고 볼 수 있다.

Cell State

Cell state는 정보가 바뀌지 않고 그대로 흐르도록 하는 역할이다. Cell state는 작은 linear interaction만을 적용시키면서 전체 체인을 계속 구동시킨다.

LSTM은 Cell state에 정보를 더하거나 없앨 수 있는데 이는 gate라 불리는 구조에 의해 제어된다.

Forget Gate

Forget gate는 cell state에서 sigmoid layer를 거쳐 어떤 정보를 버릴 것인지 정한다. sigmoid layer는 0과 1사이의 출력을 가지는데 그 값이 0이라면 정보를 버리고 1이라면 다음 state로 넘긴다. LSTM은 3개의 gate를 가지고 cell state를 제어한다.

Input Gate

Input gate는 앞으로 들어오는 새로운 정보 중 어떤 것을 cell state에 저장할 것인지를 정한다. 먼저 sigmoid layer를 거처 이전 state $C_{t-1}$ 에서 어떤 정보를 업데이트할 것인지를 정한 후 - (1) tanh layer에서 새로운 후보 Vector $C_t$를 생성한다.

Cell State Update

이전 gate에서 버릴 정보들과 업데이트 할 정보들을 정했다면 cell state update를 진행한다.

$f_t$를 곱해서 버리기로 한 정보를 버린다. $i_t * C_t$를 더해서 업데이트 하기로 한 정보 (1)를 얼마나 업데이트 할 지가 scale한 값이 된다.

Output Gate

Output gate는 어떤 정보를 output 할지 정한다. 먼저 sigmoid layer $\sigma$에 input data $W_{o}[h_{t-1}, x_t] + b_o$ 를 넣어 output 정보를 정한 후 cell state $C_t$를 tanh layer에 넣어 sigmoid layer의 output $o_t$과 곱하여 output으로 내보낸다.