NLP

기존 자연어 처리는 RNN을 토대로 이루어졌습니다.하지만 RNN은 큰 단점이 있습니다.하나의 고정된 크기 벡터에 모든 정보를 압축하기 때문에 정보 손실이 발생RNN의 고질적인 문제인 기울기 소실(Vanishing Gradient) 문제 존재다음과 같은 문제로 인해 기계

Recurrent Neural Networks(RNN)에 대한 이해를 돕기위해 작성하였습니다. RNN이란? RNN은 시퀀스 데이터 처리에 강점을 가진 신경망 입니다. [시퀀스 데이터란? | 순서를 가진 데이터라고 볼 수 있으며 대표적으로는 시계열 데이터 / 자연어 처

이전 포스팅한 RNN의 문제점은 기울기 소실 문제로 인해 시점이 길어질수록 앞의 정보가 뒤로 충분히 전달되지 못하는 문제가 발생한다는 것입니다. 이런 문제를 해결하기 위해 나온것이 LSTM 입니다. LSTM 이란? 전통적인 RNN의 단점을 보완한 LSTM(장단기 메

Seq2Seq는 기계번역의 성능을 높여준 모델입니다. Seq2Seq 이전의 기계번역의 경우 영어를 프랑스어로 변경할 때 각 언어의 문장 길이(단어의 수)가 일치하지 않는 다는 문제점이 있었습니다. English the black cat drank milk (5 word

임베딩이란 자연어처리에서 사람이 쓰는 자연어를 기계가 이해할 수 있도록 숫자형태인 vector로 바꾸는 과정 혹은 일련의 전체 과정을 의미합니다.단어나 문장 각각을 벡터로 변환해 벡터 공간(Vector space)으로 끼워넣는다는 의미에서 임베딩이라고 합니다.가장 간단