[metric] Expected Calibration Error (ECE)

ECE란?

• Expected Calibration Error (ECE)는 모델이 예측한 확률과 실제 정확도 간의 차이를 측정하는 지표.
• 모델이 "0.8의 확률로 맞다"라고 예측할 때 실제로 약 80%의 정확도로 맞는지를 확인하여, 모델의 신뢰도(Confidence)를 평가.

Expected Calibration Error (ECE) 계산 방법

ECE 계산 공식

• $M$: 총 bin의 개수 (일반적으로 10개)
• $B_m$: m번째 bin에 속하는 샘플들의 집합
• $n$: 전체 샘플 수
• $\text{acc}(B_m)$: 해당 bin에서의 정확도
  $\text{acc}(B_m) = \frac{1}{|B_m|} \sum_{i \in B_m} \mathbf{1}(\hat{y_i} = y_i)$
• $\text{conf}(B_m)$: 해당 bin에서의 평균 confidence
  $\text{conf}(B_m) = \frac{1}{|B_m|} \sum_{i \in B_m} p_i$

ECE 계산 과정 예시

• 모델의 예측 값: [0.92, 0.75, 0.55, 0.87, 0.66, 0.33]
• 실제 라벨: [1, 1, 0, 1, 0, 0]
• bin의 개수 (M): 3개로 설정 ([0.0-0.3], [0.3-0.6], [0.6-1.0])

Step 1: bin별 분류

• Bin 1 (0.0~0.3): 해당하는 데이터 없음 → 무시
• Bin 2 (0.3~0.6): [0.33] → 평균 confidence: 0.33, 정확도: 1.0
• Bin 3 (0.6~1.0): [0.92, 0.75, 0.55, 0.87, 0.66] → 평균 confidence: 0.75, 정확도: 0.6

Step 2: ECE 계산

ECE는 딥러닝 모델의 calibration 성능을 평가할 수 있는 중요한 지표로, 특히 불확실성 기반 모델 평가 및 안전성을 요하는 분야에서 자주 사용.
이를 통해 모델이 지나치게 과신하거나 보수적인 예측을 하는지 판단할 수 있음.