[딥러닝] RNN(LSTM)

Peter·2021년 7월 8일
0

딥러닝

목록 보기
42/47

LSTM(long short term memory)

개폐구(gate)

  • 개패구를 열면 신호가 흐르고, 닫으면 차단됨
  • 위 사진을 보면 t=1에서 입력만 열렸고 t=32,33에서는 입력과 출력이 모두 열림
  • 0,1 사이 실수 값으로 개폐정도를 조절 <- 이 값은 학습으로 알아냄

LSTM 핵심 요소

  • 메모리 블록(셀): 은닉 상태(hidden state) 장기 기억
  • 망각(forget) 개폐구 (1: 유지, 0: 제거): 기억 유지 혹은 제거
  • 입력(input) 개폐구: 입력 연산
  • 출력(output) 개폐구: 출력 연산
  • c_t-1: 과거에서 넘어오는 메모리 셀
  • c햇: h를 만들기 위한 단계 i가 개폐구라 이걸 보낼지 말지 비선형 함수로 결정, 시그모이드이기 때문에 보내는 양을 조절할 수 있음

RNN과 LSTM의 비교

  • RNN은 입력->은닉, 은닉->은닉, 은닉->출력 으로 정보가 흐름

  • LSTM은 입력->은닉, 은닉->은닉, 은닉->출력 으로 정보 흐름을 가지고 있고
  • 추가로 메모리블록(혹은 셀)의 출력 -> 출력 개폐구, 입력 개폐구
  • 입력 벡터 -> 출력 개폐구, 입력 개폐구 를 가지고 있음
profile
컴퓨터가 좋아

0개의 댓글