Sequential Model

• Sequential data는 기본적으로 들어오는 입력의 길이를 알 수 없음
• input data의 길이가 얼마가 됐든 model에 들어갈 수 있어야함
• 가장 간단한 방법은 과거의 n개의 데이터만 확인하는 것임
  
• Markov model(first-order autoregressive model)이 대표적
• 하지만 과거의 n개의 정보만 확인하는 한계가 있음

• Latent autoregressive model

• n개의 input을 고려하는 것이 아니라 hidden state 형태로 요약하여 다음 cell에 넘겨주는 방식
  

• RNN의 문제점

  • Short-term dependencies
    너무 먼 과거에 있는 정보가 미래까지 살아남기 어려움
    이를 해결하기 위해 LSTM(Long Short Term Memory)이 제안됨

• LSTM(Long Short Term Memory)
  

• GRU(Gated Recurrent Unit)
  

회고

• LSTM, GRU에서 FC 레이어를 거친 output을 4분할을 하게되는데, 이걸 어떻게 이해해야할지 모르겠음
• 과연 이 4분할된 output은 같은 output인가? 아니면 각가의 weight를 이용해 만든 다른 encoding data인가?
• 질문은 했었는데 아무래도 질문이 깔끔하지 않아서 답변이 오지 않는거 같음