NLP6 - rnn 구조 공부

ganadara·2023년 1월 16일
1

복습

목록 보기
38/49
#SimpleRNN(32), 은닉층 숫자만 신경쓰면 나머지는 keras가 알아서 해 준다.
from tensorflow.keras.layers import SimpleRNN
SimpleRNN(32)  # hidden_units, Conv2D(64), Dense(10)

SimpleRNN(32, input_shape = (timesteps, input_dim))

SimpleRNN(32, input_shape, input_length = timesteps, input_dim = input_dim)

SimpleRNN(32, input_shape, return_sequences=True, input_shape = (timesteps, input_dim)) # return_sequences=False가 기본값

SimpleRNN(32, input_shape, return_sequences=True, return_state=True, input_shape = (timesteps, input_dim))
#return_sequences = 중간값 볼래
#return_state = 무조건 마지막 값

sequence to sequence

논문

단어장에서 MARKER들이 먼저 나오고 내가 찾은 단어들이 나와야 한다.
line.strip() = 줄바꿈
vocab_list가 들어오면 딕셔너리 2개(단어, 숫자)를 만든다.

기술 영업(영업팀), FAE(기술영업, 개발팀, 개발팀) - 개발자
rnn은 마지막 단어가 제일 중요

제일 마지막인 단어 YOU가 가장 기억이 크다

논문

hidden state에 attention값만큼 곱한다
attention을 잘 사용하면 요약을 잘 할 수 있다.

profile
DL 공부중

0개의 댓글