About 자연어 처리 Task
자연어 처리(Natural Language Processing, NLP) Task란 컴퓨터가 인간의 언어를 이해하고 처리하기 위해 수행하는 다양한 종류의 작업을 의미. 이런한 태스크는 텍스트 또는 음성 데이터에서 유의미한 정보를 추출하고, 언어 데이터를 분석하며 사람들이 사용하는 자연어를 생성하는 데 초점을 맞춤. NLP Task는 기본적인 것부터 복잡한 것까지 다양하며, 이러한 태스크를 조합하여 보다 복잡한 응용 프로그램을 구추하기도 함
주요 NLP Task
-
텍스트분류(Text Classification)
텍스트 문서를 사전에 정의된 카테고리나 클래스에 자동으로 할당하는 태스크. 예를들어, 스팸 이메일 감지, 감정분석, 뉴스 기사 분류 등이 여기에 해당됨 -
기계번역(Machine Translation)
한 언어로 된 텍스트를 다른 언어로 자동으로 번역하는 태스크. 예를들어, 영어 문장을 한국어로 변환하는 것이 포함됨 -
질문 응답(Question Answering)
사용자의 질문에 대해 특정 테스크 데이터셋 내에서 정답을 찾아내거나 생성해내는 태스크. 정보 검색과 자연어 이해 능력이 요구됨 -
요약(Summarization)
긴 텍스트 문서에서 핵심 내용을 추출하거나 생성하여 짧은 요약문을 만드는 태스크. 요약은 추출적 요약(Extractive Summarization)과 생성적 요약(Abstractive Summarization)으로 나뉨 -
개체명 인식(Named Entity Recognition, NER)
텍스트에서 인명, 조직명, 위치, 시간, 수량 등 특정 카테고리에 속하는 단어나 구를 식별하고 분류하는 태스크 -
감정 분석(Sentiment Analysis)
텍스트에서 저자의 감정, 의견, 평가 등의 태도를 분석하는 태스크. 이는 제품 리뷰, 온라인 댓글 등에서 긍정적, 부정적, 중립적 감정을 분류하는 데 사용됨 -
품사 태깅(Part-of-Speech Tagging)
각 단어가 문장 내에서 어떤 품사(명사, 동사, 형용사 등)에 속하는지 식별하는 태스크 -
구문분석(Parsing)
문장의 구조를 분석하여 문장을 구성하는 요소들(주어, 동사, 목적어 등) 간의 관계를 파악하는 태스크
이 외에도 텍스트 유사성 평가, 자연어 생성, 대화 시스템, 음성 인식 및 변환 등 다양한 NLP 태스크가 존재하며, 각각의 태스크는 언어 이해와 생성에 관련된 다양한 문제를 해결하는 데 기여함. NLP 기술의 발전으로 이러한 태스크들은 점점 더 정교해지고 있으며, 사람과 컴퓨터 간의 자연스러운 상호작용을 가능하게 하고 있음
Language Model
- 하나의 문장을 여러 개로 나누고 나눈 토큰들의 결합분포로 문장에 대해서 확률을 계산
- 문장 감정 분석 : 맛있는 사과를 먹었다.
- 기계어 번역 & Question answering
나는 사과를 먹었다 -> I ate an apple
- w = 사과일 경우, P(w|w_1, w_3) >> 0
- w = 식탁일 경우, P(w|w_1, W_3) ≈ 0
