LLM Parameter 정리

ChatAPI 파라미터

랜덤성 조절

1) temperature

• 창작 관련된 내용일 경우 0.8 권장, 그 외에는 동일한 대답을 하도록 0 권장
  2) top_p

temperature와 top_p 동시에 변경하는 건 권장되지 않고 보통은 temperature로 조절하는 편

요청 관련

1) n

• 한 번에 여러개 답변 생성 (많이 사용X)

2) stream

• streaming 방식으로 소통하도록 설정

생성물의 길이

1) stop

• [","] 쉼표가 나오면 stop시킴

2) max_tokens

• 생성물의 최대 길이
• 1토큰이면 영어기준 4글자, max_tokens = 500 -> 2000자

그 외

presence_penalty
frequency_penalty
logit_bias
user