자연어

우리가 일상 생활에서 사용하는 언어

자연어 처리 (NLP)

자연어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 일

NLP(자연어처리) = NLU(자연어이해) + NLG(자연어생성)

• 자연어 이해: 자연어 형태의 문장을 이해하는 기술
• 자연어 생성: 자연어 문장을 생성하는 기술

자연어 처리 응용

음성 인식, 내용 요약, 번역, 사용자의 감성 분석,
텍스트 분류 작업(스팸 메일 분류, 뉴스 기사 카테고리 분류),
질의 응답 시스템, 챗봇과 같은 곳에서 사용되는 분야

인코딩

(메모장에서 txt 파일 저장할 때 한 번 쯤 봤을 인코딩)

문자열 인코딩 : 컴퓨터가 문자를 이해할 수 있도록 일정한 규칙에 따라 2진수(byte code)로 변환하는 방식

• 파이썬은 문자열을 '유니코드'로 처리.

str1 = '몰?루'

encoded1 = str1.encode('euc-kr')
encoded1

b'\xb8\xf4?\xb7\xe7'

디코딩

• byte code를 유니코드로 변환

str1 = b'\xb8\xf4?\xb7\xe7'

decoded1 = str1.decode('euc-kr')
decoded1

'몰?루'