RNN

RNN(Recurrent Neural Networks)

• 순환신경망
• 시계열 또는 순차 데이터를 예측하는 딥러닝을 위한 신경망 아키텍처
  - 순차 데이터 : 순차적 구성 요소가 복잡한 의미와 구문 규칙에 따라 상호 연관되는, 단어, 문장 또는 시계열 데이터 등의 데이터
• 다양한 길이의 순차 데이터로 작업하고 자연 신호 분류, 언어 처리, 비디오 분석 등의 문제를 해결하는 데 특히 효과적
• 과거의 정보를 사용하여 현재 및 미래의 입력에 대한 신경망의 성능을 개선하는 딥러닝 구조
• 신경망에 은닉 상태 및 루프가 있음 -> 루프 구조를 통해 신경망은 은닉 상태에 과거의 정보를 저장하고 시퀀스에 대해 연산하는 것
  

특징

1. 순서 기억
   : 이전에 받은 정보를 기억해 다음 정보를 처리할 때 참고함
2. 순환 구조
   : RNN은 신경망이 서로 연결되어 있어 시간이 지나도 정보를 계속 전달할 수 있음 -> 문장처럼 길이가 다양한 데이터 처리 가능

문제점

• 기울기 소실 문제 : 문장이 길어지면 처음 받은 정보를 잘 기억하지 못함
• 기울기 폭발 문제 : 정보가 너무 강하게 전달되면 계산이 엉망이 됨

해결 방법(고급 모델)

• LSTM(Long Short-Term Memory) : 기억하고 잊는 과정을 조절하는 '게이트'라는 장치를 통해 중요한 정보는 오래 기억하고, 덜 중요한 정보는 빨리 잊음
• GRU(Gated Recurrent Unit) :

사용 예시

• 문장 번역 : 하나의 언어로 된 문장을 다른 언어로 번역
• 음성 인식 : 소리를 문자로 변경
• 주식 예측 : 주식 시장의 변화 예측
• 날씨 예보 : 과거의 날씨 데이터를 바탕으로 미래의 날씨 예측