RNN

RNN(Recurrent Neural Network)

• 시계열데이터와 같은 연속적인 정보를 처리할때 사용되는 신경망

기본적으로 기본적으로 과거의 정보를 "기억(Memory)" 하면서 새로운 정보를 처리하는것에 주안점을 둠
ex, 주식가격변동, 문장단어들

CNN이 이미지 데이터의 공간적 특징을 추출하여 학습한다면,
RNN은 시계열 데이터의 시간적 특징을 추출하여 학습한다

add) RNN -> LSTM -> Transformer

RNN 구조

간단하게 예시로는 bat 는 박쥐(명사), 야구방망이(명사)를 가지고 있다.
여기서 bat 뜻이 어떻게 사용되는지는 이전을 보면된다

예를 들어 Baseball bat라면, bat는 야구방망이를 뜻하게 되는것이다

RNN은 이것처럼 이전의 기억(memery)를 모방하여, 오번역의 확률을 줄인다

V, W, U만 업데이트 하면 됨 -> 업데이트는 경사하강법과 역전파를 사용함

$V^* = V - \alpha\frac{\theta L}{\theta V}$
$W^* = W - \alpha\frac{\theta L}{\theta W}$
$U^* = U - \alpha\frac{\theta L}{\theta U}$

-계속해서 작성중-