오늘은 RNN 배우는 날~

어제 배운거 살짝 요약

first-order-system

딥러닝에서 못하는 순서 정보를 학습하는 모델임.
초기상태값(0, 랜덤)을 지정해줘야한다는 단점이 있음.
초기상태값을 지정하고 순서대로 토큰을 하나씩 넣어 학습하는 방식임.

state 뭐시기 모델

각 단계에서 현재 상태값을 액티브 펑션에 통과 시켜 어떤 결과(y)를 뽑아내는 모델임.

RNN

CNN은 이미지의 위치, 구역 정보를 학습한다 치면,
RNN은 시간 정보를 학습하는 거임.

RNN 구조

• one to many: 사용하는거 본적이 없음.
• many to one: 주로 감석분석에 사용, 예)"철수는 영희를 좋아해" -> True or False
• many to many: 주로 번역에 사용, 예)"철수는 영희를 좋아해" -> "Cheolsu likes Yeonghee"

1. Embedding Layer

임베딩 모델의 입력값은 무조건 정수임. 실수 이런거 안됨.

잡다