---

🌹 Reference

https://velog.io/@dauuuum/RNN
https://velog.io/@dscwinterstudy/%EB%B0%91%EB%B0%94%EB%8B%A5%EB%B6%80%ED%84%B0-%EC%8B%9C%EC%9E%91%ED%95%98%EB%8A%94-%EB%94%A5%EB%9F%AC%EB%8B%9D2-6%EC%9E%A5

해당 게시글을 왕왕 많이 참조했다.

---

RNN(Recurrent Neural Network)

RNN은 순환 신경망으로 입력과 출력을 시퀀스 단위로 처리한다.

Sequential(연속형) 데이터를 잘 처리하기 위해 고안된 신경망으로 주로 자연어 처리와 같은, 의미를 찾아내는 분석에서 강점을 가진다.

시퀀스란? 문장같이 단어가 나열된 것을 의미한다.

CNN 구조

RNN 구조

• 기존 신경망에서는 없었던 과정으로 출력 벡터가 다시 입력되는 특성을 가졌다.

위 그림에서 A는 cell이라고 하는데 RNN의 은닉층에서 활성화 함수를 통해 결과를 내보내는 역할을 하는 노드로 이전의 값을 기억하므로 메모리 셀이라고 한다.

-> 은닉층의 메모리 셀에서 나온 값이 다음 은닉층의 메모리 셀에 입력된다.

📖 수식으로 살펴보자

은닉층 : $h_{t} = \tanh(W_{x}x_{t} + W_{h}h_{t-1} + b)$
출력층 : $y_{t} = f(W_{y}h_{t}+b)$

step 2가 step 1의 출력값과 x1로 2개의 입력을 가지듯이 수식도 $h_{t}$ 가 $W_{h}h_{t-1}$ 와 $W_{x}x_{t}$을 입력으로 가진다.

장점

Input과 Output의 길이에 제약받지 않고 유연한 구조를 가질 수 있다.

1. one-to-one

2. one-to-many

• 1개의 벡터를 받아 Sequential한 벡터를 반환한다.
• 하나의 이미지 입력에 대해서 사진의 제목을 출력하는 이미지 캡셔닝에 사용된다.
  

3. many-to-one

• Sequential 벡터를 받아 1개의 벡터를 반환한다.
• 문장의 긍정/부정을 판단하는 감성 분석(Sentiment analysis)에 사용된다.
  

4. many-to-many 1

• Sequential 벡터를 모두 입력받은 뒤 Sequential 벡터를 출력한다.
• Seq2Seq 이라고도 부르며 번역할 문장을 입력으로 받아 번역된 문장을 출력으로 내놓는 기계 번역에 사용된다.
  

5. many-to-many 2

• Sequential 벡터를 입력받는 즉시 Sequential 벡터를 출력한다.
• 비디오를 프레임별로 분류(Video classification per frame)하는 곳에 사용된다.

단점

1. 장기 의존성 문제(the problem of Long-Term Dependencies)

RNN은 비교적 짧은 시퀀스(sequence)에 대해서만 효과를 보인다. time step가 길어질 수록 앞쪽의 정보가 뒤쪽으로 충분히 전달되지 못하는 현상이 발생한다.

위 그림은 첫번째 입력값인 $x_{1}$의 정보량을 짙은 남색으로 표현했을 때, 색이 점차 얕아지는 것으로 시점이 지날수록 $x_{1}$의 정보량이 손실되어가는 과정을 표현하고 있다. 뒤로 갈수록 $x_{1}$의 정보량은 손실되고, 시점이 충분히 긴 상황에서는 $x_{1}$의 전체 정보에 대한 영향력은 거의 의미가 없을 수도 있다.

2. 병렬화 불가능

벡터가 순차적으로 입력되는데, 이는 sequential 데이터 처리를 가능하게 해주는 요인이지만, GPU 연산의 장점인 병렬화를 불가능하게 만든다. 그렇기 때문에 RNN 기반의 모델은 GPU 연산을 하였을 때 이점이 거의 없다.

---

👀 기울기 소실과 기울기 폭발의 원인

언어 모델(LM)은 주어진 단어들을 기초로 다음에 나올 단어를 예측하는 일을 한다.

"Tom was watching TV in his room. Mary came into the room. Mary said hi to ?"

? 에 들어갈 단어는 TOM이다.

RNNLM이 올바른 답을 내놓기 위해서는 현재 맥락에서 "Tom was watching TV in his room." 과 " Mary came into the room." 이라는 정보를 기억해야 한다.
-> 해당 정보를 RNN의 은닉층에에 보관해야 한다.

RNNLM의 관점에서 보면 정답 레이블이 Tom임을 학습할 때 중요한 것이 바로 RNN 계층의 존재이다. RNN 계층이 과거 방향으로 '의미 있는 기울기'를 전달함으로 시간 방향의 의존 관계를 학습할 수 있다.

기울기에는 학습해야 할 의미있는 정보가 들어 있고, 이를 과거로 전달함으로써 장기 의존 관계를 학습한다.

하지만 중간에 기울기가 감소하면 가중치 매개변수는 전혀 갱신되지 않게 되어 장기 의존 관계를 학습할 수 없게 된다.

현재는 RNN 계층에서 시간을 거슬러 올라가 기울기가 작아지거나 커져 소실 혹은 폭발되는 상황이다.

RNN 계층에서 시간 방향 기울기 전파

• 위의 RNN 계층의 그림에서 길이가 T인 시계열 데이터를 가정하여 T번째 정답 레이블로부터 전해지는 기울기가 어떻게 변하는지 보자.

앞의 문제에 대입하면 T번째 정답 레이블이 Tom인 경우에 해당한다.

이때 시간 방향 기울기에 주목하면 역전파로 전해지는 기울기는 차례로 tanh,+,MatMul(행렬 곱) 연산을 통과한다는 것을 알 수 있다.

+의 역전파는 상류에서 전해지는 기울기를 그대로 하류로 흘러보내 기울기는 변하지 않는다.

tanh의 경우와 미분된 경우를 그래프로 그리면 아래와 같다.

그림에서 점선이 y=tanh(x)의 미분이고 값은 1.0 이하이며, x가 0으로부터 멀어질수록 작아진다. 즉, 역전파에서 기울기가 tanh 노드를 지날 때마다 값은 계속 작아진다는 의미이다. 또한 tanh 함수를 T번 통과하면 기울기도 T번 반복해서 작아진다.

MatMul(행렬 곱) 노드의 경우 tanh 노드를 무시하기로 한다. 그러면 RNN 계층의 역전파 시 기울기는 아래 그림과 같이 MatMul 연산에 의해서만 변화하게 된다.

상류로부터 dh 라는 기울기가 흘러온다고 가정하자.

이때 MatMul 노드에서의 역전파는 dh(W_h^T) 라는 행렬 곱으로 기울기를 계산한다. 그 후 같은 계산을 시계열 데이터의 시간 크기만큼 반복한다. 주의할 점은 행렬 곱셈에서 매번 똑같은 Wh 가중치를 쓴다는 것이다.

+ 노드는 기울기를 그대로 보내 변하지 않고 tanh 노드를 지날 때마다 기울기가 작아지지만 MatMul 노드는 tanh 노드를 무시하니 최종적으로 기울기는 MatMul 연산에 의해서만 변화

즉, (왜? dh가 시간에 비례하나 ?) 행렬 곱의 기울기는 시간에 비례해 지수적으로 증가/감소함 을 알 수 있으며 증가할 경우 기울기 폭발이라고 한다. 기울기 폭발이 일어나면 오버플로를 일으켜 NaN 같은 값을 발생시킨다. 반대로 기울기가 감소하면 기울기 소실이 일어나고 이는 일정 수준 이하로 작아지면 가중치 매개변수가 더 이상 갱신되지 않으므로 장기 의존 관계를 학습할 수 없게 된다.

---

이러한 문제 해결을 위해 LSTM이 등장하였다 !!