Temperature와 유사한 특성을 가진 Hyperparameter들

• Temperature(τ)는 사실상 확률 분포의 날카로움(엔트로피)을 조절하는 스케일링 파라미터인데, 비슷한 역할함
• Hyperparameter들이 머신러닝/딥러닝에서 볼 수 있는 대표적인 것들을 정리해 보자
• 이런 파마미터들은 탐색을 어떻게 할지, 확신을 어떻게 조절할지를 다룸

1. Softmax/Classification 관련

• Label Smoothing

  • 정답 레이블의 확률(1)을 살짝 낮추고, 나머지 클래스에 조금씩 분산 → 확률 분포를 “덜 샤프하게” 만듦.
  • Temperature ↑ 와 비슷하게 분포 엔트로피 증가 효과.

• Knowledge Distillation의 Teacher Temperature

  • Teacher 모델이 soft label을 만들 때 τ를 크게 해서 “부드러운 확률 분포”를 학생에게 전달.
  • τ ↓ → 샤프한 one-hot, τ ↑ → 스무딩된 soft target.

2. Regularization & Exploration

• Dropout Rate

  • 확률적으로 뉴런을 꺼서 모델이 특정 feature에만 집중하지 못하게 함.
  • 온도를 높여서 불확실성을 크게 만드는 것과 유사하게 불확실성을 인위적으로 주입.

• ε-greedy (Reinforcement Learning)

  • 확률 ε로 랜덤 행동을 선택, 1-ε로 최적 행동 선택.
  • ε ↑ → 분포가 스무딩됨(탐험 많음), ε ↓ → 샤프해짐(탐욕적).

• Softmax Policy with Temperature (RL)

  • 행동 선택 시 $P(a) = \frac{\exp(Q(a)/\tau)}{\sum \exp(Q(a')/\tau)}$.
  • τ가 바로 행동 분포의 샤프/스무딩을 조절하는 핵심.

3. Loss & Margin 관련

• Margin (Contrastive / Triplet Loss)

  • positive와 negative 간 점수 차이를 얼마나 크게 요구할지 설정.
  • margin ↑ → 더 샤프한 구분, margin ↓ → 스무딩에 가까움.

• Scaling Factor in ArcFace / CosFace (Face Recognition)

  • softmax 전에 cosine similarity에 scale $s$을 곱해줌.
  • s ↑ → softmax가 더 샤프, s ↓ → 더 스무딩.

4. Optimization 측면

• Learning Rate (학습률)

  • 값이 크면 → 업데이트가 크고 결정이 “샤프”해짐 (빠르지만 불안정).
  • 값이 작으면 → 업데이트가 작고 “스무딩”됨 (느리지만 안정적).

요약

• Temperature (τ): 확률 분포의 엔트로피 조절.
• 비슷한 역할: Label Smoothing, Knowledge Distillation τ, Dropout, ε-greedy, Softmax policy in RL, Margin/Scaling factor, Learning Rate.