[NLP] 문장구조의 이해

📍 자연어 이해와 자연어 생성

NLP에는 2개의 주요 컴포넌트가 있는데 자연어 이해(NLP)와 자연어 생성(NLG)이다.

✅ 자연어 이해(NLU)

• 자연어이해는 NLP의 첫 컴포넌트로 간주
• NLU는 인공지능 하드 문제, 또는 인공지능 완료 문제로 간주됨
• NLU는 NL 입력을 유용한 표현으로 변환하는 프로세스로 정의됨

✅ 자연어 생성(NLG)

• NLG는 NLP의 두 번쨰 컴포넌트로 간주
• NLG는 머신이 NL을 출력으로 생성하는 프로세스로 정의
• 머신의 출력은 논리적인 방식이어야 하는데, 머신에서 생성되는 어떠한 NL이라도 논리적이어야 한다는 뜻

📍 NLP의 분야

✅ 도구 리스트

• POS 태깅의 경우, POS 태거가 사용된다. 유명한 라이브러리는 nltk와 pycorenlp이다.
• 모프 분석기는 단어 수준 형태학적 분석을 생성하는 데 사용된다.
  이를 위해 nltk와 polyglot 라이브러리가 사용된다.
• 파서는 문장의 구조를 식별하는 데 사용된다.

📍 형태소 분류

✅ 자유 형태소

• 단독으로 있으며 단어로 동작할 수 있다. 이들을 무경계 형태소 또는 단독형 형태소라고 부른다.

✅ 경계 형태소

• 경계 형태소는 보통 접사를 사용하며 2개의 클래스로 나눈다.

✅ 파생 형태소

• 파생 형태소는 접사가 어근과 결합해서 의미론적 의미를 변경시킬 때 확인된다.

✅ 굴절 형태소

• 접미사로서 단어에 추가돼 해당 단어에 특정 문법적 속성을 지정한다. 굴절 형태소는 시제, 숫자, POS 등을 나타내는 문법적 표식으로 간주됨.