Hugging Face Agents Course - Chapter1, Special Tocken 이란

Messages and Special Tokens

• LLM의 UI를 보는 것과 모델에 입력된 프롬프트는 서로 상이하다.

• LLM(대규모 언어 모델)과 특수 토큰(special tokens)

  • 각 모델은 메시지의 시작과 끝을 구분하기 위해 고유한 토큰을 사용함 (예: EOS 토큰 등)
  • 메시지 포맷팅 시, 모델마다 다른 형식과 구분자를 사용해야 함

• 채팅 템플릿(Chat Templates)

  • 사용자 발화 (user utterance)와 어시스턴트 응답 (assistant response)을 정확히 모델에 전달하기 위한 포맷
  • LLM이 요구하는 특수 토큰과 메시지 구분 방식을 준수 채팅 템플릿을 통해 모델이 두 메시지를 혼동하지 않고 처리할 수 있도록 도움

즉, 채팅 템플릿은 모델의 특수 토큰 사용 방식을 고려하여, 사용자 발화 (user utterance)와 어시스턴트 응답 (assistant response)을 올바르게 구분해주는 핵심 도구입니다.

• 메시지 (Messages)

  • LLM(대규모 언어 모델)의 전체적인 대화 흐름을 구성하는 기본 요소
  • 예: 사용자 발화 (user utterance), 어시스턴트 응답 (assistant response), 시스템 메시지 (system message) 등

• 시스템 메시지 (system message) 또는 시스템 프롬프트 (system prompt)

  • 모델이 어떤 방식으로 동작해야 하는지 정의하는 핵심 지침
  • 대화 전반에 걸쳐 지속적으로 적용되어, 이후 모든 상호작용(사용자 발화 (user utterance)와 어시스턴트 응답 (assistant response))에 영향을 미침

• 예시

system_message = {
    "role": "system",
    "content": "You are a professional customer service agent. Always be polite, clear, and helpful."
}

• role이 "system"으로 설정되어, 모델이 “고객 서비스 에이전트”라는 역할로서 polite, clear, helpful하게 행동하도록 안내함

즉, 시스템 메시지 (system message)는 모델이 사용자 발화 (user utterance)에 어떻게 응답해야 할지를 지속적으로 규정해주어, 어시스턴트 응답 (assistant response)이 일관성 있고 적절하도록 도와주는 중요한 구성 요소입니다.