LLM 파라미터는 모델의 출력을 제어하고 조종하는데 중요한 설정값입니다. 파라미터를 어떻게 설정하느냐에 따라 특성의 결과를 조정할 수 있고, 결과값을 나타내는데 중요한 요소가 됩니다.
Temparature
- LLM의 출력의 다양성을 제어하는 파라미터
낮은 Temparature
- 일관된 응답
- 확률이 높은 토큰 선택
- 사실적이고 정확한 정보가 필요할 때 제어
높은 Temparature
- 창의적인 답변
- 랜덤한 결과
- 같은 질의에도 다양한 답변을 할 수 하게 할 수 있다.
Top K
- LLM이 결과를 생성할 때 후보 단어를 제한하는 용도의 파라미터
- 확률 순위에서 가장 높은 K개의 토큰을 고려해서 선택하게 된다.
낮은 K 값
- 더 집중된, 관련성이 높은 출력이 가능
- 창의성을 제한할 수 있다.
높은 K 값
- 다양한 값 출력이 가능
- 관련성이 떨어질 수 있다.
Top P
- 누적 확률 분포를 기반으로 토큰을 생성하는 방법
- 확률의 누적합이 P%가 되는 단어들만을 고려하여 다음 단어를 선택하는 방식
- 확률의 누적합을 기준으로 제한
- 유연하고 자연스러운 텍스트 생성이 가능
요약
- Temparature : 창의성과 정확도 조절
- Top K : 고려할 토큰 수를 제한한다.
- Top P : 확률 분포를 기반으로 유연하게 토큰을 선택한다.
