[NLP] NLP Task

지윤곽·2022년 3월 30일
0

NLP

목록 보기
5/6

NLP

자연어 처리

  • 자연어 처리
    • NLU(Natural Language Understanding) : 단어, 문장, 문단을 이해
    • NLG(Natural Language Generation) : 상황에 맞는 자연어 생성
  • Task : Language Modeling(문단 일부를 보고 다음 단어 예측), Machine Translation(기계번역), Question & Answering, Document classification
  • 자연어 처리 학회 : ACL, EMNLP, NAACL
  • Task
    • low level prasing
      • tokenization : 문장을 단어 단위로 쪼갬
      • stemming : 다양한 어미가 붙은 단어를 하나의 뜻으로 해석 - 어근을 추출
    • word and phrase level
      • NER(Named entity recognition) : 고유 명사를 인식함 ex. NewYork Times를 하나의 고유명사로 인식
      • POS tagging(part-of-speech) : 문장 내에서 단어의 품사(성분)을 알아냄
      • etc) noun-phrase chunking, dependency prasing, coreference resolution
    • sentence level
      • sentiment analysis : 감정 분석 ex. This movie was not that bad. → 이 문장은 bad 가 들어가 있음에도 부정이 아닌 긍정으로 해석
      • maching trasnlation : 기계 번역 ex. 영어 → 한글 (단어, 어순 고려)
    • multi-sentence and paragraph level
      • entailment prediction : 두 문장 간의 논리적 내포나 모순 관계 예측 ex. 어제 존이 결혼을 했다 → 어제 최소한 한명이 결혼을 했다.(참)
      • question answering : 독해 기반 질의응답 ex. 구글에서는 ‘where did napoleon die’ 라는 검색어에 대한 정답을 제공
      • dialog systems : 챗봇
      • summarization : 문서 요약

Text mining

  • extract useful information and instights from text and document data
    • ex. analyzing the trends of AI-related keywords form massice news data
  • document clustering (topic modeling)
    • ex. clustering news data and grouping into difference subjects
  • highly related to computational social science
    • ex. analyzing the evolution of people’s political tendency based on soical media data
  • 학회 : KDD, The WebConf(WWW), WSDM, CIKM, ICWSM

Information retrieval : 검색 기술 연구

  • highly related to computational social science
    • recommendation system
profile
아는게 힘이다

0개의 댓글