Introduction

RNN 즉, 순환 신경망을 왜 쓰는 지 알아보고, 이해해보자.

Recurrent Neural Network(RNN)이란?

• 이전 데이터를 기억하여 다음 데이터의 입력으로 넣어 출력에 영향을 줄 수 있는 네트워크 구조
• 주로 시퀸스 데이터(문장)나 연속적인 시계열 데이터에 쓴다.

RNN사용 이유

What..? 다른 모델과 뭐가 다른데?

일반적인 CNN 모델을 생각해보자. 해당 합성곱 layer의 커널만 학습될 뿐 해당 커널이 학습된 결과가, 다음 커널의 학습에 영향을 주지 않는다.

FC 모델 또한 동일하다. 또한 이전 노드와 노드사이의 feature를 반영하는 weight는 다음 layer의 weight를 결정하는데 영향을 주지 않는다.

순환 신경망의 특징

장점

• RNN은 모델이 이론적으로 모델이 간단하고 어떤 길이의 sequential 데이터라도 처리할 수 있다는 장점을 가지고 있다.

• 또한 이전 정보를 반영할 수 있다는 점이다.
  "철수가 숟가락을 들고 밥을 펐다." 라는 문장이 있을 때, 이전 정보인 철수가 + 숟가락을 + 들고 + 밥을 이라는 이전 정보를 통해 펐다를 예측할 수 있다.

단점

• 하지만 철수가 와 펐다 관계와 같이 현재 노드 위치와 먼 상태를 사용한 문맥을 처리하는 것은 상대적으로 어렵다는 단점이 있다.

순환 신경망의 구조

이전 상태와 input 두가지가 함께 들어가 동작한다.

순환 신경망의 동작

simpleRNN 예제

rnn = layers.SimpleRNN(units=hidden_size,return_sequences=True, return_state=True)
# One hot encoding for each char in 'hello'
h = [1, 0, 0, 0]
e = [0, 1, 0, 0]
l = [0, 0, 1, 0]
o = [0, 0, 0, 1]
x_data = np.array([[h]], dtype=np.float32)
hidden_size = 2
cell = SimpleRNNCell(units=hidden_size)
rnn = RNN(cell, return_sequences=True, return_state=True)
outputs, states = rnn(x_data)
print("파라미터 개수:", rnn.count_params())
print("weights:", rnn.weights)
print('x_data: {}, shape: {}'.format(x_data, x_data.shape))
print('outputs: {}, shape: {}'.format(outputs, outputs.shape))
print('states: {}, shape: {}'.format(states, states.shape))

결과

파라미터 개수: 14
weights:
[<tf.Variable 'rnn_3/simple_rnn_cell_3/kernel:0' shape=(4, 2) dtype=float32, numpy=
array([[-0.8238611 , 0.26491618],
[ 0.8516624 , -0.05171776],
[ 0.6305232 , -0.4280374 ],
[ 0.20209384, -0.00895429]], dtype=float32)>,
<tf.Variable 'rnn_3/simple_rnn_cell_3/recurrent_kernel:0' shape=(2, 2) dtype=float32, numpy=
array([[-0.8955449 , -0.44497135],
[ 0.44497135, -0.8955448 ]], dtype=float32)>,
<tf.Variable 'rnn_3/simple_rnn_cell_3/bias:0' shape=(2,) dtype=float32, numpy=
array([0., 0.], dtype=float32)>]

순환 신경망의 유형

1.Many-To-One

다수 입력 단일 출력
문장을 읽고 뜻을 파악할 때 활용한다. ex.) 감정 분석

밥은, 먹고, 다니니라는 다수 문장을 통해 "안부 인사"라는 뜻을 파악한다.

2.One-To-Many

단일 입력 다수 출력
사진의 캡션작업을 할 때 사용된다.

하나의 이미지를 통해 퍼그, 이불, 요다 라는 캡션을 多하게 얻을 수 있다.

3.Many-To-Many 1 : 각 입력 분석

각 입력에 대한 형태소를 분석하는 것이 해당된다.

4.Many-To-Many 2 : 전체 분석

번역이 이에 해당된다. 입력을 전부 받고 출력을 한번에 한다.
문장의 구성요소가 다르므로 입력과 출력의 개수가 달라질 수 있다.

Staking 이란?

Layer(층)을 여러개 사용하여 더 복잡한 문제에 대해서 해결이 가능핟로고 하는 것.

Bidirectional 이란?

순차적 입력값에 대해서 이전 데이터와의 관계 뿐만 아니라 이후 데이터와의 관계 가지 학습하는 것.