Today?

챌린지반 수업 : LLM

들어가며

• LLM? 최근 1~2년간 가장 핫한 서비스 ChatGPT로 대두

생성형 AI의 시대

• Stackoverflow 수요가 급감
• 자연어 처리 NLP

NLP가 뭐예요?

자연어 : 인간이 일상 생활에서 사용하는 언어
자연어 처리라는 기술로 일반인들도 컴퓨터와 소통하게 됨

NLP 기술의 근간

1. 토큰화
   • 텍스트를 의미 있는 단위인 토큰으로 분리하는 과정
   • 떠먹여주기... 컴퓨터는 바부라서 불순값을 없애고 훈련을 시켜야 한다.
2. 어휘 분석
   • 토큰이 어떤 품사를 가지는지 결정해야 함
   • 대표적 기술 : 형태소 분석
3. 파싱(구문 분석)
   • 어텐션 스코어(유사성)
4. 의미 분석

다양한 모델

• N-gram 모델(e.g. 2-gram(bigram), 3-gram) 모델
  • 특정 단어가 주어진 단어 시퀀스 뒤에 나타날 확률 추정
  • 간단하고 쉽지만 N값이 커지면 비용이 높아짐
  • 챗지피티
• RNN 모델
  • 순환 신경망, 과거의 정보를 현재의 결정에 반영할 수 있음
  • 긴 의존성 학습엔 어려움
• LSTM 모델
• LLM(Large Language Models) : 초거대 언어 모델
  • 위의 모든 과정을 하나의 모델로 통합하여 처리

---

개인과제

TS 프로젝트(공연예매)

TypeORM에서 자동으로 컬럼명이 바뀌는 문제

---

회고