1) Temperature
생성모델에서 생성된 텍스트의 다양성을 조절하는 파라미터
Temperature 값이 높을수록 모델이 생성하는 문장이 더 다양해진다.(더 많은 무작위성)
Temperature 값이 낮을수록 더 일관성 있는 문장이 생성된다.(예상 가능한 결과)
Temperature값의 범위는 0~무한대이지만 일반적으로 0.5 ~ 1.0사이의 값이 좋은 결과를 얻을 수 있는 범위이다. (테스트 필요)
2) top_P
샘플링: 실제 언어모델이 n개의 답변에 대한 샘플링을 한뒤 주어진 결과값을 반환
top_p는 주어진 숫자로 상위 몇%의 답변을 할지 정하도록 유도하는것임(Default=1)
1. 모델은 각 가능한 다음 단어에 대한 확률 분포를 생성
2. top_p가 0.95라면 모델은 확률의 누적값이 0.95가 되도록 하는 최소한의 단어집합을 선택한다.
3. 선택된 단어집합에서 무작위로 단어를 샘플링하여 생성을 계속함
다음 단어의 확률 분포:
{"안녕": 0.5, "안녕하세요": 0.3, "헬로": 0.15, "하이": 0.03, "반가워": 0.02}
top_p = 0.9의 경우:
누적 확률 분포 {"안녕": 0.5, "안녕하세요": 0.3, "헬로": 0.15} (누적 = 0.95)
"헬로"가 포함되면 누적 확률이 0.95로 top_p 값을 초과하므로 이 집합에서 무작위로 단어를 선택합니다.
즉 top_p역시 temperature와 마찬가지로 작을수록 더 예측이 가능한 텍스트를 생성한다.
3) Frequency penalty
모델이 예측을 반복하는 경향을 제어한다.
양수값은 반복을 줄일 수 있고, 음수값은 반복적인 내용의 출현을 늘릴 수 있다.
4) Presence penalty
모델이 새로운 예측을 만들도록 유도한다. (새로운 아이디어)
양수값은 새로운 내용의 추가를 촉진하며, 음수값은 새로운 내용의 등장을 줄일 수 있다.
Hi