RNN 추가

RNN 한 방에 개념잡기

RNN이란

순서가 중요한 데이터(문장, 시계열)을 한 칸씩 순서대로 읽으면서 처리하는 신경망

• 읽는 동안 지금까지 읽은 내용을 은닉상태(h)라는 메모에 꼐속 업데이트

  입력을 한번에 다 보는것이 아닌 순서대로 읽고 메모 갱신

순환이란

RNN은 시간(step)이 바뀌어도 같은 가중치를 반복

• 단어가 100개면 같은 RNN을 100번 돌리는 느낌

은닉 상태(h)란

ℎ𝑡는 t번째까지 읽은 내용을 요약한 메모

"This movie is"까지는 중립 / 뒤에 "not good"이 나오면 메모가 부정으로
즉 앞의 정보가 뒤 해석에 영향을 주게 만듦

중요한 오해

RNN이 순차적으로 업데이트 하는건 리뷰들 전제가 아닌 리뷰 한 개의 단어 순서

• 리뷰 1개의 처리가 끝나면 hidden은 초기화하고 다음 리뷰를 새로 읽음

입력하는 법

리뷰는 단어 ID 시퀀스[12,7,45,..]인데 RNN은 보통 Embedding을 써서 ID->벡터로 바꿔넣음

• 원-핫은 VOCAB이 커지면 비효율적

한 줄 요약

RNN은 문장을 단어 순서대로 읽으며 메모(은닉상태)를 업데이트하고 마지막 메모를 리뷰 요약으로 긍/부정을 판단