[Week 4-2] 💬RNN, LSTM, GRU

4주차 화요일

• RNN
• LSTM

---

📝[RNN]

시퀀스 데이터를 다루는 모델. 각 타임스텝마다 시퀀스 데이터 x와 이전 타임스텝에서 RNN 모듈이 계산한 hidden state 벡터 h_(t-1)를 입력받아 현재 타임스텝의 출력으로 hidden state 벡터 h_t를 내보낸다.

문장을 다루는 경우에는 각 타임스텝의 입력이 단어가 된다. hidden state 벡터는 과거 타임스텝의 정보를 가지고 있는 일종의 기억 역할을 하는데, 현재 타임스텝에서 새로운 입력 x가 들어오면 그것을 반영해 다음 타임스텝으로 기억을 넘겨준다.

RNN 모델은 매 타임스텝마다 동일한 구조와 동일한 파라미터(가중치, 바이어스)를 갖는데, 같은 모델이 재귀적으로 호출되며 반복해서 연산한다는 의미에서 RNN(Recurrent Neural Network)이라는 이름으로 부른다.

---

📝[LSTM]

기본적인 RNN 구조에서는 타임스텝이 많이 넘어가면 예전 타임스텝의 정보가 많이 유실되는데, 이를 보완하기 위해 나온 구조가 LSTM(Long-Short Term Memory)이다.

바닐라 RNN은 이전 타임스텝으로부터 hidden state 벡터 하나를 받지만, LSTM은 이전 타임스텝으로부터 cell state 벡터 c와 hidden state 벡터 h를 받는다. 그래서 LSTM은 한 타임스텝 내에서 입력 데이터 x_t와 이전 타임스텝의 c_(t-1), 이전 타임스텝의 h_(t-1)를 입력받아 c_t와 h_t를 계산한다. LSTM에서 hidden state 벡터는 cell state 벡터를 가공한 것으로, 해당 타임스텝에서 노출할 필요가 있는 정보를 가진 필터링된 벡터다.

LSTM 구조에서는 입력된 벡터를 Input gate, Forget gate, Output gate, Gate gate 4개의 gate로 쪼개서 각각 sigmoid, sigmoid, sigmoid, tanh 함수를 적용한 다음 내보낸다. 이 4개의 게이트는 한 타임스텝 내에서 cell state와 hidden state를 계산하기 위한 중간 과정으로 작용한다.

• forget gate
  sigmoid를 취했기 때문에 forget gate를 통과하면 0~1 사이의 값을 가진다. 잊어버린다는 것은 정보 중 일부만 반영하는 것으로, forget gate에서는 앞 cell에서 넘어온 정보를 이번 cell에 반영할 비율을 결정한다.

• gate gate
  tanh를 취했기 때문에 gate gate를 통과하면 -1~1 사이의 값을 가진다. input gate를 통과해 온 벡터와 원소별 곱셈을 실행한다. 이 곱셈 결과가 이전 타임스텝의 cell state 벡터에 더해져 현재 타임스텝의 cell state 벡터를 결정한다.
  
  

---

👨‍👩‍👧‍👦[피어 세션]

어제에 이어 연휴 때 만든 모델을 좀 더 살펴봤다. 팀원 중 모델 정확도가 잘 나오지 않는다는 분이 있어서 화면을 공유로 코드를 함께 봤다.

conv 레이어의 feature 수나 flatten 이후 dense 레이어의 입력 노드 수가 맞지 않아서 코드를 수정했는데, 수정 후에도 loss가 지나치게 높게 나오는 문제가 있었다. 원인을 파악하기 위해 모델 일부를 내가 만든 코드로 대체해 봤는데 데이터셋을 불러올 때 레이블을 가져오는 과정에서 뭔가 꼬인 것 같았다. 수정하고 내일 피어세션 시간에 결과를 알려준다고 한다. 다른 분은 epoch를 적게 설정해서 학습이 충분히 이루어지지 않았다. epoch와 batch size를 수정하고 하는 김에 모델의 conv 레이어도 약간 조정하여 학습이 잘 되는 것을 확인했다.