LangChain | 응답의 확신도 [logprobs] | Model

박성문·2024년 12월 30일

LangChain | 모델

목록 보기
3/11

LogProb

로그 확률(LogProb)은 AI 언어 모델이 각 단어를 선택할 때 
그 선택에 얼마나 확신을 가지는지를 수치로 표현하여, 
이를 통해 답변의 신뢰도를 판단하고, 
문장의 자연스러움을 개선하며, 
학습 과정에서 모델 성능을 높이는 역할을 하는 지표이다.

logprobs 값의 의미

logprob 값은 항상 0 이하의 음수 값을 가진다.

0에 가까운 음수값 = 낮은 확신도 (예 : -0.03)
0에서 멀어지는 음수값 = 높은 확신도 (예 : -5.51e-07)

예시 결과 :

주의점

  1. logprobs가 높다고 반드시 답변이 정확한 것은 아니다.
  2. AI의 '확신도'를 보여주는 것이지, 실제 '정확도'를 보장하는 않는다.
  3. 참고 지표로만 사용하는 것이 좋다.

실용적인 사용법

  1. 중요한 결정이 필요한 답변에서 AI의 확신도 확인
  2. 여러 가능한 답변 중 AI가 가장 확신하는 답변 선택
  3. AI의 불확실한 답변 식별하여 추가 검증 필요성 판단
profile
성문이

0개의 댓글