[DL] LSTM/GRU

📢 SimpleRNN 의 기억 소실 문제를 해결하기 위한 LSTM 과 GRU 에 대한 페이지입니다.

SimpleRNN 한계, 장기 의존성 문제(Long-Term Dependency)

• 기본 RNN(SimpleRNN) 의 경우 긴 문장으로 갈 수록 앞쪽의 단어를 잃게 됨 (시간이 지나면 이전의 입력값을 잊어버리게 됨!)
• SimpleRNN 의 경우 순환의 횟수가 많아질수록 초반에 입력된 단어의 기억 데이터가 소실되는 “기울기 소실 현상” 발생
  • 왜냐하면, 하이퍼볼릭 탄젠트 함수(tanh)를 사용해서
• 문장 구성 시, 초반 단어가 후반 예측에 영향을 주는 문장일수록 SimpleRNN 의 경우 학습 결과가 좋지 않음
  • 예)
    • 반짝이는 보석같이 아름다운 ____이(가) 있었다
      • 빈칸에 올 수 있는 단어 후보: 영화쌤, 별, 해, 돌, 은하수, 윤슬
    • 어제 저녁 하늘에는 반짝이는 아름다운 ___이(가) 있었다
      • 문장 앞쪽 단어 잃지 않았다면, 빈칸에 ‘별’ 이라는 값이 올 확률이 높음 (즉, 정답률 높아짐)

LSTM

• Long Short Term Memory

• SimpleRNN 단점 보완

• 장기기억과 단기기억 관리 계산이 추가된 모델

• 단점: 연산 복잡, 시간 오래 걸림, 자원 사용량 높아짐

• 순환 횟수가 많더라도 앞에서 연산한 결과를 장기간 유지할 수 있는 ‘구조’ 필요

  → RNN 에 메모리 셀(cell) 추가
  

• 메모리 셀(cell)

  • 시각 t 에서 메모리 셀 c에는 과거로부터 현재시각 t까지의 필요한 대부분의 정보가 저장
  • 오차역전파 시, tanh 와 같은 활성화 함수를 통과하지 않아서 기울기 소실이 일어나지 않음
  • 데이터를 LSTM 계층 내에서만 주고 받으며 다른 계층으로는 전달하지 않음

GRU

• LSTM 의 단점인 연산의 복잡성을 보완한 모델
• LSTM 보다 가벼운 느낌!