Temperature

Temperature는 softmax 분포의 “sharpness vs smoothing”을 조절하는 스위치이며, 이는 곧 분포의 엔트로피(확실성/불확실성) 조절과 같다.

Sharp vs Smoothing 개념 정리

샤프 (Sharp)

• 정의:
  • 분포가 뾰족함.
  • 한 선택지의 확률이 거의 1, 나머지는 0에 가까움.
• 예시:
  • 딸기=0.999, 초코=0.001, 바닐라=0
    → 사실상 딸기만 선택.
• 의미: 모델이 매우 확신(confident)하는 상태.
• 수학적으로: τ ↓ (작은 temperature)
• 엔트로피: 낮음 (low entropy distribution).

스무딩 (Smoothing)

• 정의:
  • 분포가 평평.
  • 여러 선택지가 비슷한 확률로 선택될 수 있음.
• 예시:
  • 딸기=0.39, 초코=0.35, 바닐라=0.26
    → 여러 선택지가 비슷하게 선택됨.
• 의미: 모델이 불확실(uncertain)한 상태.
• 수학적으로: τ ↑ (큰 temperature)
• 엔트로피: 높음 (high entropy distribution).

요약

• 샤프 (Sharp): "뾰족하다" → 확률이 한 곳에 집중됨 → 확신 강함 → 낮은 엔트로피

• 스무딩 (Smoothing): "부드럽다" → 확률이 여러 곳에 퍼짐 → 불확실성 큼 → 높은 엔트로피

• Softmax의 temperature (τ)는 확률 분포의 엔트로피(uncertainty, 불확실성)를 조절함.

  • τ ↓ → 샤프해짐 → 엔트로피 ↓ → 한쪽에 집중.
  • τ ↑ → 스무딩됨 → 엔트로피 ↑ → 고르게 퍼짐.

머신러닝/통계에서는 이를 “분포의 엔트로피 조절” 또는 “confidence calibration”이라고도 부름.