Count-based Representation
NLP
머신러닝을 이용한 텍스트의 의미와 구조 파악
- 자연어(Natural Language)
사람들이 일상적으로 쓰는 언어를 인공적으로 만들어진 언어인 인공어와 구분하여 부르는 개념
- 자연어 이해(NLU, Natural Language Understanding)
- 분류(Classification)
- 자연어 추론(NLI, Natural Langauge Inference)
- 기계 독해(MRC, Machine Reading Comprehension), 질의 응답(QA, Question&Answering)
- 품사 태깅(POS tagging), 개체명 인식(Named Entity Recognition)
- 자연어 생성(NLG, Natural Language Generation)
- NLU & NLG
- 기계 번역(Machine Translation)
- 요약(Summerization)
- 챗봇(Chatbot)
- 기타
- TTS(Text to Speech)
- STT(Speech to Text)
- Image Captioning
- Vectorization
텍스트를 컴퓨터가 계산할 수 있도록 수치정보로 변환하는 과정
- Count-based Representation
단어가 특정 문서(혹은 문장)에 들어있는 횟수를 바탕으로 해당 문서를 벡터화
[Reference]
Distributed Representation
[Reference]
Language Modeling with RNN
RNN
연속형 데이터를 처리하기 위한 신경망 모델
- 연속형 데이터 (Sequential Data)
어떤 순서로 오느냐에 따라서 단위의 의미가 달라지는 데이터
- Limitation
역전파 과정에서 RNN의 활성화 함수인 tanh의 미분값을 전달하게 되는데(Back Propagation Through Time, BPTT), 시퀀스의 길이가 길어지면 역전파 정보가 거의 전달되지 않거나 과하게 전달된다.
- Gradient Vanishing
- Gradient Exploding
LSTM
RNN에 기울기 정보 크기를 조절하기 위한 Gate를 추가한 모델 (Solution for long sequence issue)
- forget gate
과거 정보를 얼마나 유지할 것인가?
- input gate
새로 입력된 정보는 얼마만큼 활용할 것인가?
- output gate
두 정보를 계산하여 나온 출력 정보를 얼마만큼 넘겨줄 것인가?
- cell-state
역전파 과정에서 활성화 함수를 거치지 않아 정보 손실이 없다.
[Reference]