유사한 맥락에서 나타나는 단어는 그 의미도 비슷하다: 분포 가설(distribution hypothesis)
분산 표현을 사용하면 희소 표현과는 다르게 단어 간의 유사도 를 계산으로 구할수 있음.
Embedding 레이어는 단어의 분산 표현을 구현하기 위한 레이어
Embedding 레이어
컴퓨터용 단어 사전
RNN
문장이나 영상, 음성 등의 데이터는 이미지 데이터와는 다른 특성을 가짐. 순차적인(Sequential) 특성
순차 데이터를 처리하기 위해 고안된 것이 바로 Recurrent Neural Network 또는 Recurrent 레이어(이하 RNN)
RNN의 입력으로 들어가는 모든 단어만큼 Weight를 만드는 게 아니라 입력의 차원, 출력의 차원에 해당하는 단 하나의 Weight를 순차적으로 업데이트.
LSTM
간단한 RNN의 구조만으로 장기 의존성(Long-Term Dependency)을 잘 다루지 못함.
LSTM은 Long Short-Term Memory의 약어로 기울기 소실 문제를 해결하기 위해 고안된 RNN 레이어
neuro.deeplearning