[딥러닝 Express] Chapter 11. 순환 신경망 - (2)

3. RNN의 구조

순환 신경망 vs 피드-포워드 신경망

피드-포워드 신경망(feed-forward neural network)은 입력층에서 은닉층을 지나서 출력층 방향으로 향하는 신경망이다.

하지만, 순차 데이터는 시간에 따라서 데이터가 들어오고, 또 과거 데이터를 기억해야 하기 때문에 이전에 사용하던 신경망과는 다르게 구조가 달라져야 한다.

순환 신경망은 순차 데이터를 처리하는데 적합한 신경망이다.
순환 신경망에서는 은닉층의 유닛에서 나온 값이 다시 은닉층 유닛의 입력으로도 보내진다.

RNN의 동작

RNN에서 은닉층의 유닛을 셀(cell)이라고 부른다.
과거의 값을 기억하는 것이 바로 이 셀이어서 흔히 메모리 셀이라고도 부른다.

RNN은 이전 은닉 상태와 현재의 입력 벡터를 가중치 함수에 입력하여 새로운 은닉 상태를 출력하는 구조를 갖는다.

RNN의 종류

• 일대일(One-to-One)
  • 지금까지 학습해 온 기본적인 신경망
• 일대다(One-to-Many)
  • 하나의 입력을 받아 많은 수의 출력 생성
  • 하나의 이미지를 입력하여 이미지를 잘 설명하는 캡션들 생성
  • 하나의 난수를 입력받아 음악/텍스트 생성
• 다대일(Many-to-One)
  • 일련의 입력을 받아 단일 출력 생성
  • 감정 분석
• 다대다(Many-to-Many)
  - 많은 수의 입력을 받아 많은 수의 출력 생성
  - 기계 번역
  

이번에도 RNN의 기초 이론..! 다음 게시물에서 순방향 패스에 대해서 구체적으로 살펴보자~

참고 자료
https://ctkim.tistory.com/entry/RNNRecurrent-Neural-Network#google_vignette
https://smartstuartkim.wordpress.com/2019/03/23/recurrent-neural-network-%EC%88%9C%ED%99%98-%EC%8B%A0%EA%B2%BD%EB%A7%9D/