언어모델의 시작

텍스트 데이터 특징 : 어려운 이유

1. Sequence 데이터
2. 비정형성
3. 희소성
4. 중의성
5. 언어의 다양성

NLP 문제 유형

• Classification
• Q&A
• Summarize
• Generation
• Translation

GPT

다음 단어를 예측하는 함수

GPT는 어떻게 풀었을까?

1. Classification: “긍정일까?부정일까?”
2. Q&A: “어떤 게 정답이야?”
3. Summarize: “요약해줘"
4. Generation: “글을 이어서 작성해줘”
5. Translation: “영어로 번역해줘”