RNN

RNN : 순환하는 신경망

• 시간적, 순차적인 특징을 가진 데이터들을 해결하기 위해 RNN이 시작
• Sequntial Data(순차기반 데이터)
• 예) Time series, Music, Sentence, Translation
• 보통 CNN은 그림, RNN은 글을 사용하지만 CNN(특징 추출), RNN(이전시간이 다음 시간에 영향) 이기때문에 데이터의 형식은 상관 없음

이미지(샘플 수, 높이, 너비, channel(1채널 : 흑백, 3채널 : 컬러))
텍스트(샘플 수, 순환횟수(timesteps), 특성 수(features))

RNN 활용 구조

1. 다수 입력 단일 출력

예) 텍스트

2. 단일 입력

예) 사진의 캡셥을 만들 때 활용 

return_sequences = True (매 순환마다 출력하는 옵션)

3. 다수 입력 다수 출력

3.1 매 순환마다 입력하고 매 순환마다 출력 결과가 나옴(return_sequences = True) 

3.2 RNN이 가로로 연결(다수입력 단일출력 + 단일입력 다수출력), 인코더 + 디코더

로이터 뉴스 데이터셋
num_words =
start_char = 1, 데이터의 시작
oov_char = 3, 실제 단어들의 랭킹

---

텍스트 데이터

1. 나는 오늘 집에 간다.
   -> 문장을 토큰화
2. 나는 / 오늘 / 집에 / 간다

장기 의존성 문제

sigmoid의 vanishing gradient 문제가 있어서 relu 사용

sigmoid, tanh 비교