Word Embedding

• 단어를 한 벡터로 표현하는 방법
• 비슷한 의미의 단어일 수록 distance가 짧고, 비슷하지 않은 의미일 수록 distance를 길게함

Word2Vec

• 문장에서 단어의 벡터 표현을 학습하는 알고리즘
• 전후 단어 유사도를 보고 단어의 확률분포를 예측함

RNN-Family

RNN

• 매 타임스텝마다 동일 파라미터를 가지고 다음 타임스텝을 계산됨
• 매 타임스텝마다 동일 파라미터를 가지고 연산해서 Recurrent Nueral network라고 부름

• 계속해서 tanh 연산을 하기 때문에 Gradient Vanishing 문제가 발생함
  

LSTM

• RNN의 문제점을 개선한 모델
• Gradient vanishing 문제를 해결하고, original RNN의 long term dependency 문제를 해결한 모델
• 단기기억을 보존하는 기능을 추가해서 Long short term memory라는 이름을 붙임
• hidden state와 cell state 중에서 더 핵심적인 정보는 cell state임

GRU

• LSTM에서 2가지로 존재하던 cell state와 hidden state를 합쳐서 경량화함