In-context learning

• 인컨텍스트 학습은 LLM에서 관찰되는 고유한 능력
  • 명시적인 모델 재훈련 없이 주어진 컨텍스트(문맥)만으로 새로운 작업을 수행할 수 있는 방식
  • 간단히 말해, 사용자가 제공한 입력 예시(컨텍스트)를 통해 모델이 즉석에서 작업의 패턴을 파악하고 결과를 도출하는 능력

핵심 개념

1. 컨텍스트(Context)란?

   • 컨텍스트는 모델 입력으로 제공되는 프롬프트(prompt) 안의 텍스트를 의미
   • 예를 들어, 모델에게 특정 작업의 패턴을 보여주는 "질문-답변 쌍"이나, "문법 규칙과 그 예시"를 포함할 수 있음
   • 사용자는 컨텍스트를 설계하여 모델이 작업 요구사항을 이해하도록 도움

2. 명시적 학습 없음

   • 인컨텍스트 학습은 기존 머신러닝에서의 명시적 학습(training)이나 파인튜닝(fine-tuning)을 요구하지 않습니다.
   • 대신, 모델은 컨텍스트에 포함된 정보를 추론하여 작업을 처리

3. 제로샷 (Zero-Shot)과의 차이점

   • 제로샷 학습: 컨텍스트 없이 단일 프롬프트로만 작업을 요청.
   • 인컨텍스트 학습: 작업 예제(컨텍스트)를 포함하여 작업 수행 능력을 강화.

4. Few-Shot 학습

   • 인컨텍스트 학습은 Few-Shot 학습으로도 불리며,
   • 소량의 샘플 예시를 활용하여 모델의 성능을 개선하는 방법

작동 원리

• 사전 학습의 일반화:

  • LLM은 방대한 데이터에서 사전 학습되어, 언어의 문법적/의미적 패턴과 추론 규칙을 학습
  • 이로 인해 새로운 작업에서 컨텍스트에 나타난 예시를 이해하고 일반화할 수 있음

• 메모리 메커니즘:

  • https://velog.io/@hsbc/in-context-learning-메모리-메커니즘
  • 모델은 주어진 컨텍스트를 입력 내에서 기억하고 처리하여, 다음 출력을 생성할 때 이를 기반으로 동작합니다.
  • 이 과정은 모델 내부에서 암묵적으로 학습된 가중치를 활용하는 방식으로 이루어집니다.

예제

예제 1: 문법적 오류 수정

Input:
Fix grammatical errors in the following sentences:
1. She go to school everyday.
2. He don't like apples.

Output:
1. She goes to school every day.
2. He doesn't like apples.

• 위에서 모델은 문법적 오류를 수정하는 작업의 패턴을 컨텍스트로 이해하고, 새로운 문장을 수정합니다.

예제 2: 단어 번역

Input:
Translate the following English words to French:
1. apple: pomme
2. dog: chien
3. cat: ?

Output:
3. cat: chat

• 컨텍스트에서 단어 번역의 규칙을 학습하고, 새로운 단어 "cat"을 번역합니다.