LLM (3)

Chapter 3 대규모 언어 모델과 프롬프트 엔지니어링

대규모 언어 모델

• LLM: 다양한 매개변수를 사용해 레이블이 없는 방대한 양의 텍스트를 학습하는 딥러닝 기반의 모델

• tokenizer: 문장을 token으로 분해하는 과정
  

• embedding: 토큰을 숫자로 된 벡터로 변환하는 과정
  

• 처음에는 RNN으로 접근했지만 한계에 부딪힘
  

• transformer 아키텍쳐 도입: 질의(Q), 키(K). 값(V)의 구조를 가짐
  -> 질의는 현재 집중해야할 부분
  -> 키는 입력에서 어느 부분에 주의를 기울여야할지
  -> 값은 문맥 벡터를 계산
  

• GPT
  -> OpenAI가 개발
  -> Generative pretrained transformer. 디코더 전용
  -> RLHF 도입 : Reinforcement Learning from Human Feedback
  --> 사람의 선호도에 기반한 보상 모델을 훈련
  --> 강화학습을 통해 에이전트가 환경과 상호작용하여 의사 결정을 내리는 방법을 학습

• LLaMa
  -> Large Language Model Meta AI
  -> 오픈소스
  -> RLHF 사용
  

프롬프트 엔지니어링

• AI 언어 모델에서 원하는 출력을 얻기 위해 입력을 최적화하는 과정

Chapter 4 LLaMa Finetuning

Finetuning

• 이미 학습이 잘 될 모델에게 나의 데이터에 대해 미세한 조절을 부탁하는 것
  

이 글은 제로베이스 데이터 취업 스쿨의 강의 자료 일부를 발췌하여 작성되었습니다