[NLP] NLP 소개

• NLP(자연어 처리) :
  인공지능의 한 분야로써 사람의 언어를 컴퓨터가 알아듣도록 처리하는 인터페이스
  최종 목표 : 컴퓨터가 사람의 언어를 이해하고 여러가지 문제를 수행할 수 있도록 하는 것
  

• 대표적인 task :
  -Sentimental Analysis (감성 분석)
  -Question and Anwering (질문 응답)
  -Summarization (요약)
  -Machine Translation (기계 번역)

• 자연어처리 모델링의 변화:
  - 2010년 RNN을 활용한 언어 모델을 시도하여 기존 n-gram 기반 언어 모델의 한계를 극복하고자 함
  기존 n-gram[1] 방식과의 결합을 통해 더 나은 성능의 언어 모델을 만들 수 있었지만, 음성 인식과 기계번역 분야에 적용하기는 구조적 한계와 높은 연산량으로 성과를 거두지 못함
  - 2013년 구글의 토마스 미코로프가 word2vec[2] 발표
  단어들을 latent space (잠재 공간)에 투사시킴으로써 딥러닝 활용이 본격적으로 시작됨
  비슷한 단어일수록 latent space에서 가깝게 위치하게 됨

  • 2014년 Yoon Kim[3]은 CNN을 활용해 text classification (텍스트 분류 모델)을 제시
  • 2014년 seq2seq[4], attention[5] 등의 기법이 개발되어 기계번역에 적용되면서 큰 성과를 얻음
    이에 따라 Natural Language Generation (자연어 생성)이 가능해짐
  • Attention 이후 연속적인 방식으로 정보를 읽고 쓰는 기법에 대한 관심이 커짐
    Neural Truing Machine(NTM)[6], Differential Neural Computer(DNC)[7] 가 제시됨
  • 기계번역 분야는 성과를 거두었지만, 딥러닝에서 사용하는 loss function과 실제 기계번역을 위한 objective function과의 괴리가 있어 자연어 생성 분야에서 강화학습을 이용하여 seqGAN과 같이 GAN을 구현하는 방법이 제시
    강화학습의 policy gradient 방식을 자연어 생성에 성공적으로 적용
    

참조
[1][N-gram Language Modeling using Recurrent Neural Network Estimation](https://arxiv.org/abs/1703.10724)
[2][Efficient Estimation of Word Representations in Vector Space](https://arxiv.org/abs/1301.3781)
[3][Convolutional Neural Networks for Sentence Classification](https://arxiv.org/abs/1408.5882)
[4][Sequence to Sequence Learning with Neural Networks] (https://arxiv.org/abs/1409.3215)
[5][Neural Machine Translation by Jointly Learning to Align and Translate] (https://arxiv.org/abs/1409.0473)
[6][Neural Truing Machine](https://arxiv.org/abs/1410.5401)
[7][Hybrid computing using a neural network with dynamic external memory](https://www.nature.com/articles/nature20101)