시퀀스 모델링

한지용·2021년 6월 8일
0

DeepLearning

목록 보기
5/9

Sequential Modeling

  • 기존 : y=f(x)y= f(x)
  • 시간 개념 또는 순서 정보를 사용하여 입력을 학습하는 것

RNN(Recurrent Neural Network)

  • 순환 신경망(RNN)은 입력 xt와, 직전의 은닉 상태hidden state인 ht-1를 참조하여 현재의 상태인 ht를 결정하는 작업을 여러 time-step에 걸쳐 수행한다

  • 여러 계층을 갖는 RNN

  • 양 방향 RNN

LSTM(Long short term memory)

  • Rnn의 단점 보완
    - time-step이 길어질수록 앞의 데이터를 기억하지 못함
  • Rnn의 은닉 상태 이외에도 별도의 Cell state 변수를 두어 기억력 증가
  • 여러 게이트를 두어 기억하거나 잊어버리거나, 출력하고자 하는 데이터의 양을 상황에 맞게 제어-> 긴 길이의 데이터를 효율적으로 대처

GRU(Gated Recurrent Unit)

  • LSTM의 간소화 버전(연산량을 줄였지만 비슷한 성능 기록)

0개의 댓글