Introduction to NLP

Academic Disciplines related to NLP

Natural language processing (major conferences : ACL, EMNLP, NAACL)

• 저수준 구문 분석
  - 문장을 단어 단위로 나누는 Tokenization
  - 어근을 추출하는 Stemming
• 단어와 구절
  - New York Times와 같은 고유명사를 인식하는 Named Entity Recognition(NER)
  - 품사나 성분을 알아내는 Part-Of-Speech(POS) tagging
  - noun-phrase chunking, dependency parsing, coreference resolution, ...
• 문장
  - 긍정/부정 감정을 분석하는 Sentiment Analysis
  - 문장을 번역할 때 어순 또한 고려하는 Machine Translation
• 여러 개의 문장과 문단
  - 두 문장 간의 내포된 내용, 모순 관계를 파악하는 Entailment Prediction
  - 질문을 이해하고 그에 대한 답을 내보내는 Question Answering
  - 챗봇과 같은 Dialog Systems
  - 문서를 자동으로 요약해주는 Summarization

Text mining (major conferences : KDD, The WebConf(formerly WWW), WSDM, CIKM, ICWSM)

• text와 문서 데이터에서 필요한 정보와 견해들을 추출. (ex. 뉴스 데이터에서 AI와 관련된 키워드를 뽑음으로써 trend 분석)
• 문서 clustering. (ex. 뉴스 데이터를 clustering하고 다양한 주제로 group화)
• 사회과학과도 연관이 있음

Information retrieval (major conferences : SIGIR, WSDM, CIKM, RecSys)

• 사회과학과 높은 연관성을 가지고 있음
• 추천시스템으로 진화하였음

Trends of NLP

• 텍스트 데이터를 단어 단위로 분리하고 차원으로 이뤄진 vector로 표현하는 과정을 거치는 word embedding
• RNN 계열 모델(LSTM, GRU)은 입력으로 주어지는 단어를 NLP 작업의 주요 아키텍처로 다룸
• RNN을 self attention으로 대체한 attention module과 transformer model이 도입된 이후 NLP의 전반적인 성능 향상
• Transformer model의 경우와 마찬가지로 대부분의 심화된 NLP model은 원래 machine translation tasks를 개선하기 위해 개발되었음
• 초기에는 서로 다른 NLP 작업에 대한 customized model이 개발됨
• Transformer의 출시 이후 huge model들은 self-attention을 쌓아나가는 형태로 model의 크기를 키웠고, 이 모델들은 특정 작업에 추가 라벨이 필요 없는 self-supervised training setting을 이용한 대규모 dataset을 이용하여 훈련하였음. (ex. BERT, GPT-3)
• 그 이후의 model들은 전이 학습을 통해 여러 다른 작업들에 적용되었고, 각 작업에서 다른 customized model들보다 성능이 우수
• 현재 이렇나 모델들은 수많은 NLP 작업에서 필수적인 부분이 되었기 때문에, 제한된 GPU로는 NLP 연구가 어려워지고 있음