Chapter 8. 순환 신경망

8.1 기억을 갖는 신경망 모델 RNN

시간적인 순서 관계를 갖는 데이터: 주가/경제지표 트렌드, 뇌파, 음악 등
공간적인 순서 관계를 갖는 데이터: 악보, 염기서열, 프로그램
시간적, 공간적 순서 관계가 있는 데이터: 순차 데이터

• 시공간의 순서 관계로 형성되는 context를 가짐
• 현재 데이터를 이해할 때 앞뒤 context를 파악해야 현재 데이터의 역할 이해 가능

가변 길이를 갖는 데이터의 순서를 고려하여 context를 만들고 예측할 수 있는 인공 신경망은 어떻게 구성해야 할까?

홉필드 네트워크

• 기억을 저장하고 연상하는 연상 메모리
• 새로운 입력 --> 특정 패턴으로 수렴하게 만들어 기억해둔 패턴 연상
• 양극화 기법 사용
• 데이터가 특정 패턴으로 양극화될 때까지 피드백하여 뉴런 연산을 반복하다가 특정 패턴과 같아지면 반복 멈춤
• 순환 연산을 통해 입력 데이터의 패턴을 연상해냄

기억을 전달하는 순환 신경망 RNN - recurrent neural network

• 데이터의 순차 구조를 인식하기 위해 데이터를 시간 순서대로 하나씩 입력 받음
• 순서대로 입력받은 데이터의 context를 만들기 위해 은닉 계층에 피드백 연결
• 가중치를 모든 단계에서 공유

가중치 공유 효과

1. 순차 구조 포착 가능
2. 가변 길이 데이터를 처리하기 용이함
3. 파라미터 수가 절약되고 정규화 효과가 생김

8.2 순환 신경망의 주요 모델