🎤 [삼시세질문] AI - 3

Q. RNN의 한계는?

A.

• 장기 의존성(Long-term dependency) 문제

  • 단기적인 시퀀스 데이터 처리에 강점이 있지만, 긴 시퀀스를 처리하는 데 어려움
  • LSTM(Long Short-Term Memory) 및 GRU(Gated Recurrent Unit)와 같은 변형된 RNN 구조를 도입하여 완화 가능

• 병렬 처리의 어려움

  • 벡터가 순차적으로 입력되어 연속적으로 데이터를 처리해야 하므로, GPU와 같은 병렬 처리를 제공하는 하드웨어의 속도 향상을 제대로 활용하기 어렵다
  • Transformer의 Self-Attention으로 극복

• 기울기 폭발 / 소실

Q. LSTM은 RNN의 장기 의존성 문제를 어떻게 해결했어?

A.

• Cell State 도입
  • Cell State는 LSTM 뉴런을 따라 직선 모양으로 흐르며, 각 LSTM 단위 내에서 Gate를 사용해 관리한다
  • Input, Forget, Output Gate 사용
• 장기적으로 중요한 정보 유지, 불필요한 정보 삭제

Q. GRU은 RNN의 장기 의존성 문제를 어떻게 해결했어?

A.

• LSTM과 유사, 단 gate가 Update, Reset 두 가지
  • Reset Gate: 이전 히든 상태가 얼마나 현재 히든 상태에 영향을 미칠지 결정
  • Update Gate: 이전 히든 상태와 새로운 정보를 결합하여 현재 상태를 업데이트하는 방법을 결정
  • LSTM보다 매개변수 적다
• 모델이 과거 정보의 중요도를 학습하고, 중요한 정보를 더 긴 시간 동안 보존한다