temperature와 top-p(핵심확률)

AI에서 temperature와 top-p(핵심확률)는 모두 생성 모델의 출력 다양성과 품질을 조절하는 하이퍼파라미터지만, 작동 방식과 조절하는 측면에 차이가 있다.

Temperature는 모델의 전체 확률 분포를 평탄화하거나 날카롭게 만들어 무작위성(randomness)을 조절한다. 낮은 temperature는 확률이 높은 단어를 우선 선택해 답변을 안정적이고 일관되게 만들고, 높은 temperature는 확률이 낮은 단어도 자주 선택하게 하여 창의적이고 다양성이 높은 출력을 만든다.

반면 Top-p는 누적 확률이 특정 임계값 P에 도달할 때까지 상위 단어만 후보로 고려해 그 중에서 무작위로 선택하는 방식이다. 이렇게 하면 확률이 낮은 단어는 아예 후보에서 배제되므로, 출력의 일관성과 품질을 높이고 과도한 무작위성을 방지할 수 있다.

요약하면, temperature는 확률 분포 자체를 조절해 모든 후보 단어의 확률을 변화시키는 반면, top-p는 후보 단어 집합의 범위를 제한하는 방법이다. 두 값을 함께 조정하면 창의성과 논리성 사이의 균형을 맞추기 용이하다.

구분	Temperature	Top-p (핵심확률)
작동 방식	전체 확률 분포 평탄화 또는 뾰족화	누적 확률 상위 단어만 후보로 제한
영향 대상	모든 단어의 선택 확률	후보 단어 집합 크기 제한
결과 성향	무작위성(창의성) 증감	일관성과 품질 향상
추천 사용처	창의적 글쓰기, 브레인스토밍, 마케팅 등	기술 문서, 질의응답, 고객 지원 등
낮은 값 효과	일관된, 예측 가능한 답변	안정적이고 논리적인 표현
높은 값 효과	다양한, 창의적인 출력	후보 범위 확대, 다양한 단어 선택 가능

이 두 파라미터는 보통 동시에 사용 가능하지만, 보통 temperature로 확률 분포를 조정한 후 top-p로 후보 단어 범위를 제한하는 순서로 적용한다. 이렇게 하면 자연스러운 동시에 품질 높은 AI 출력을 얻을 수 있다[1][3][7].

출처
[1] 인공지능 파라미터 'Temperature'와 'Top P'의 차이 https://study4silver.tistory.com/650
[2] 온도랑 top p 파라미터는 뭐가 다른 거야? : r/GPT3 https://www.reddit.com/r/GPT3/comments/qujerp/what_is_the_difference_between_temperature_and/
[3] LLM의 Top P값과 Temperature 값이란? - vitalog https://vitalog.tistory.com/entry/top-p
[4] 디코딩 전략: Greedy, Beam Search, Random, Temperature, ... https://velog.io/@mmodestaa/%EB%94%94%EC%BD%94%EB%94%A9-%EC%A0%84%EB%9E%B5-Greedy-Beam-Search-Random-Temperature-Top-K-Nucleus
[5] 프롬프트 엔지니어링(prompt engineering)이란? 효과적인 LLM ... https://lsjsj92.tistory.com/684
[6] 추론 파라미터를 사용하여 응답 생성에 영향을 주는 방법 https://docs.aws.amazon.com/ko_kr/bedrock/latest/userguide/inference-parameters.html
[7] 온도(Temperature) vs 탑-P 샘플링(Top-P Sampling), Chat GPT https://ible.blog/%EC%98%A8%EB%8F%84temperature-vs-%ED%83%91-p-%EC%83%98%ED%94%8C%EB%A7%81top-p-sampling-chat-gpt-%EC%82%AC%EC%9A%A9%ED%95%98%EB%8A%94-%EB%B2%95/
[8] top-p와 temperature의 차이를 쉽게 설명해주실 분... https://arca.live/b/alpaca/81363955
[9] Temperature를 이해했다면 Top-K와 Top-P는 쉬워요. ... https://www.threads.com/@steady__study.dev/post/DI-IzfXhtoh/temperature%EB%A5%BC-%EC%9D%B4%ED%95%B4%ED%96%88%EB%8B%A4%EB%A9%B4-top-k%EC%99%80-top-p%EB%8A%94-%EC%89%AC%EC%9B%8C%EC%9A%94-top-k%EB%8A%94-%ED%99%95%EB%A5%A0%EB%B6%84%ED%8F%AC%EC%97%90%EC%84%9C-%EC%83%81%EC%9C%84-k%EA%B0%9C%EB%A7%8C-%EA%B3%A8%EB%9D%BC%EB%82%B4%EC%84%9C-%EC%B4%9D%ED%95%A9-1%EC%9D%98-%ED%99%95%EB%A5%A0%EB%B6%84%ED%8F%AC%EB%A1%9C-%EC%A0%95%EA%B7%9C%ED%99%94%ED%95%A9%EB%8B%88