[딥러닝 공부] 자연어처리 (NLP)

자연어 처리 (Natural language processing, NLP)

자연어란 우리가 일상 생활에서 사용하는 언어
자연어 처리란 이러한 자연어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 일

음성 인식, 내용 요약, 번역, 사용자의 감성 분석 등에서 사용됨

NLP 라이브러리 및 개발환경

• 텐서플로(TensorFlow), 파이토치(PyTorch)
  가장 인기 있는 두 가지 딥러닝 툴킷
  다양한 언어를 지원하지만 기본 언어는 Python
  대규모의 사전 구축된 구성 요소 라이브러리가 함께 제공되므로 정교한 딥러닝 NLP 모델도 이러한 구성 요소를 함께 연결하기만 하면 되는 경우가 많음
  또한 그래픽 처리 장치 (GPU) 가속기가 장착된 시스템 클러스터 같은 고성능 컴퓨팅 인프라를 지원

• HuggingFace
  수많은 사전 학습 디러닝 NLP 모델과 TensorFlow 및 PyTorch의 "플러그 앤드 플레이(plug-and-play)"소프트웨어 툴킷을 배포하여 다양한 사전 학습 모델을 개발자가 빠르게 사용할 수 있음

• 스파크 NLP (Spark NLP)
  Python, Java, Scala 프로그래밍 언어를 위한 고급 NLP용 오픈 소스 텍스트 처리 라이브러리
  자연어 처리 파이프라인을 위한 응용 프로그래밍 인터페이스(API)를 제공하는 것을 목표로 하며, 사전학습 신경망 모델과 파이프라인, 임베딩을 제공하고 맞춤형 모델 학습을 지원함

• 스페이시 NLP (SpaCy NLP)
  SpaCy는 Python의 고급 NLP를 위한 무료 오픈 소스 라이브러리로 대량의 텍스트를 처리 및 이해할 수 있는 애플리케이션의 구축에 도움을 줌
  SpaCy는 매우 직관적인 것으로 알려져 있으며 일반적인 NLP 프로젝트에 필요한 많은 작업을 처리 가능