[부스트캠프 AI Tech 5기] Pre-Course : (26) RNN 첫걸음

📖 시퀀스 데이터 이해하기

• 소리, 문자열, 주가 등의 데이터를 시퀀스(sequence) 데이터로 분류함
  
  
• 시퀀스 데이터는 독립동등분포(i.i.d.) 가정을 잘 위배하기 때문에 순서를 바꾸거나 과거 정보에 손실이 발생하면 데이터의 확률분포도 바뀌게 됨
  

📖 시퀀스 데이터를 어떻게 다루나요?

• 이전 시퀀스의 정보를 가지고 앞으로 발생할 데이터의 확률분포를 다루기 위해 조건부확률을 이용할 수 있음
• 시퀀스 데이터를 다루기 위해선 길이가 가변적인 데이터를 다룰 수 있는 모델이 필요함
  
  
  
  
  
  

📖 Recurrent Neural Network 을 이해하기

• 가장 기본적인 RNN 모형은 MLP 와 유사한 모양임
  
• RNN 은 이전 순서의 잠재변수와 현재의 입력을 활용하여 모델링함
  
• RNN 의 역전파는 잠재변수의 연결그래프에 따라 순차적으로 계산함
  

📖 BPTT 를 좀 더 살펴봅시다

• BPTT를 통해 RNN 의 가중치행렬의 미분을 계산해보면 아래와 같이 미분의 곱으로 이루어진 항이 계산됨
  

📖 기울기 소실의 해결책?

• 시퀀스 길이가 길어지는 경우 BPTT 를 통한 역전파 알고리즘의 계산이 불안정 해지므로 길이를 끊는 것이 필요함
  

• 이런 문제들 때문에 Vanilla RNN 은 길이가 긴 시퀀스를 처리하는데 문제가 있음
  

<이 게시물은 임성빈 교수님의 'RNN 첫걸음' 강의 자료를 참고하여 작성되었습니다.>

본 포스트의 학습 내용은 [부스트캠프 AI Tech 5기] Pre-Course 강의 내용을 바탕으로 작성되었습니다.
부스트캠프 AI Tech 5기 Pre-Course는 일정 기간 동안에만 운영되는 강의이며,
AI 관련 강의를 학습하고자 하시는 분들은 부스트코스 AI 강좌에서 기간 제한 없이 학습하실 수 있습니다.
(https://www.boostcourse.org/)