LLM

• Large Language Model의 약자로, 대규모 데이터 세트에서 훈련된 언어 모델을 의미한다.
• 해당 모델은 자연어처리에서 텍스트 생성, 요약, 분류, 감정 분석, 개체명 인식 등 다양한 작업을 수행할 수 있다.

LLM을 만들기 위해 필요한 것
1) 대규모 텍스트 데이터(Alpaca, SQuAD)
2) 엄청난 연산량의 컴퓨팅 리소스
3) 트랜스포머 모델

Incontext-Learning

• 모델을 파인튜닝하지 않고, Input값을 잘 설정하여 적절한 답변을 유도하는 방법에서 시작됨
  1) 제로샷 러닝 : 추가적인 설명 예제 없이 바로 문제를 해결하려는 방법
  2) 원샷 러닝 : 추가적인 설명 예제 1개와 함께 문제를 해결하려는 방법
  3) 퓨샷 러닝 : 추가적인 설명 예제 n개와 함께 문제를 해결하려는 방법

• 사용자 입장에서는 제로샷 러닝이 편하지만, 모델의 입장에서는 퓨샷 러닝을 통해 좀 더 해결하고 하는 문제를 자세히 이해할 수 있음

전이학습

• 파인튜닝이라고 불리는데, 해당 기법은 이미 학습된 LLM모델의 파라미터에 새로운 Task에 맞춰 미세 조정하는 방법으로, 대표적으로 LoRA가 있음.

RLHF

• GPT의 대표적인 학습 방법 중 하나로, 학습이 끝난 LLM 모델이 질문에 대한 여러 프롬프트를 생성하고, 해당 프롬프트에 대해 사람이 점수를 매긴 뒤, 가장 높은 점수를 가진 모델이 출력하도록하는 기법
  => 이를 통해 인종, 범죄, 욕설 등 유해한 콘텐츠를 출력되지 않게 할 수 있음.

창발

• 창발은 시스템의 양적변화가 행동의 질적 변화로 이어질 때 발생한다는 의미
• 큰 LLM 모델을 학습하는 과정에서 특정 임계치를 넘으면 기존의 작은 LLM에서 발생하지 않았던 새로운 능력이 발현됨.
  -> 모델을 학습하는 과정에서 선형적으로 성능이 좋아지는것이 아닌, 특정 임계치를 넘으면 급격하게 성능이 좋아짐을 의미

Temperature

• 온도라고 불리는데, 온도가 높을 수록, 다양한 텍스트를 생성하게 도움을 주고, 온도가 낮을수록 일관되고, 가장 그럴듯한 의미가 뽑힐 확률을 높여준다.
• OpenAI의 GPT-3.5에서 Temperature 값을 바꿔보면서 생성하는 텍스트 차이를 확인할 수 있다.