Expected Calibration Error (ECE)는 머신 러닝 모델, 특히 확률을 출력하는 분류 모델의 신뢰도(calibration)를 평가하기 위한 지표입니다. ECE는 모델이 예측한 확률과 실제 정답 간의 불일치를 측정합니다. 모델이 잘 캘리브레이션(calibrated)되어 있다면, 예를 들어, 70%의 확률로 예측한 모든 샘플 중 약 70%가 실제로 정답일 것입니다.
ECE는 다음과 같은 단계로 계산됩니다:
-
확률 예측을 구간으로 나누기 (Binning):
- 예측 확률들을 여러 개의 구간(bins)으로 나눕니다. 예를 들어, [0.0, 0.1), [0.1, 0.2), ..., [0.9, 1.0)와 같은 구간으로 나눌 수 있습니다.
-
각 구간의 평균 확률과 정확도 계산:
- 각 구간에서 모델이 예측한 확률의 평균값(즉, bin의 평균 신뢰도)과 실제로 맞힌 예측의 비율(즉, bin의 정확도)을 계산합니다.
-
각 구간의 Calibration Error 계산:
- 각 구간에 대해 신뢰도와 정확도의 차이를 계산합니다. 이를 각 bin의 calibration error라고 합니다.
-
구간별 Calibration Error의 가중 평균 계산:
- 각 구간의 calibration error에 그 구간 내 샘플의 비율을 가중치로 곱한 후, 모든 구간에 대해 이를 합산합니다. 이 값이 Expected Calibration Error (ECE)가 됩니다.
ECE의 수식은 다음과 같습니다:
ECE가 0에 가까울수록 모델의 예측이 잘 캘리브레이션되어 있다고 할 수 있습니다. 높은 ECE는 모델이 과신하거나 과소신하는 경향이 있음을 나타냅니다.
모델의 캘리브레이션을 개선하는 방법으로는 온도 스케일링(Temperature Scaling), 플랫닝(Platt Scaling), 이소토닉 회귀(Isotonic Regression) 등이 있습니다. 이런 방법들은 모델의 확률 예측을 조정하여 더 잘 캘리브레이션되도록 합니다.
Expected Calibration Error (ECE)에서 binning을 사용하는 이유는 모델의 캘리브레이션(calibration)이 확률 예측의 다양한 구간에서 어떻게 변하는지 세밀하게 분석하기 위함입니다.
단순히 전체 데이터에 대해 예측값과 실제값의 차이를 평균내는 방식은 모델의 캘리브레이션 오류를 정확하게 평가하지 못할 수 있습니다. 이를 좀 더 구체적으로 설명하면 다음과 같습니다:
-
확률 구간별 세밀한 분석:
모델의 예측이 특정 확률 구간에서 얼마나 정확한지 분석하기 위해서는 예측값을 여러 구간으로 나누어 평가하는 것이 필요합니다. 예를 들어, 모델이 90% 확률로 예측한 샘플들이 실제로도 90% 맞는지, 50% 확률로 예측한 샘플들이 50% 맞는지를 확인함으로써 모델의 캘리브레이션 상태를 더 명확히 파악할 수 있습니다. -
예측 확률의 비선형성:
모델의 예측 확률이 선형적으로 캘리브레이션되지 않을 수 있습니다. 즉, 모델이 예측한 확률이 작을 때와 클 때 각각 다르게 캘리브레이션되어 있을 수 있습니다. 예를 들어, 모델이 낮은 확률을 예측할 때는 과소신뢰(under-confident)하고, 높은 확률을 예측할 때는 과신(over-confident)할 수 있습니다. Binning을 통해 확률 구간별로 이러한 캘리브레이션 오류를 세밀히 측정할 수 있습니다. -
샘플의 불균형:
데이터셋 내에서 특정 확률 구간에 속하는 샘플들이 많거나 적을 수 있습니다. Binning을 통해 각 구간별로 오류를 평가하면, 특정 구간에서 샘플이 많아 평균적인 오류 계산에 큰 영향을 미치는 문제를 완화할 수 있습니다. -
가중 평균을 통한 공정한 평가:
Binning을 사용하면 각 구간별로 샘플의 수에 따른 가중 평균을 계산할 수 있게 됩니다. 이를 통해 모델의 캘리브레이션 오류를 더 공정하게 평가할 수 있습니다. 단순히 전체 데이터에서 예측값과 실제값의 차이를 계산하는 방식은 특정 구간에 샘플이 몰려 있을 때 왜곡된 결과를 초래할 수 있습니다.
결론적으로, Binning을 통해 각 확률 구간에서의 캘리브레이션 오류를 세밀하게 분석하고, 이를 종합적으로 평가함으로써 모델의 캘리브레이션 상태를 보다 정확하게 파악할 수 있습니다. 이는 단순히 전체 데이터에 대해 예측값과 실제값의 차이만으로는 얻기 어려운 정보입니다.
