1. Cross Entropy Loss (교차 엔트로피 손실)
언제 사용하나요?
- 분류 문제 (특히 이진 분류나 다중 클래스 분류)에서 사용됩니다.
수식 (이진 분류 기준):
예측 확률이 p, 실제 정답이 y (0 또는 1)일 때,
y = 1이면, 손실은-log(p)y = 0이면, 손실은-log(1 - p)
특징:
- 예측이 정답에서 멀어질수록 손실이 급격히 커짐
- 출력이 확률 형태일 때 (ex. softmax 또는 sigmoid의 출력) 사용
2. Mean Squared Error (평균 제곱 오차, MSE)
언제 사용하나요?
- 회귀 문제에서 사용됩니다.
- 분류 문제에서 사용하면 학습이 느리거나 어려워질 수 있습니다.
수식:
예측 값이 ŷ, 실제 값이 y일 때,
특징:
- 예측이 정답에서 멀수록 손실이 점진적으로 증가
- 출력이 연속적인 수치일 때 적합
3. Cross Entropy vs MSE 비교 요약
| 항목 | Cross Entropy Loss | Mean Squared Error (MSE) |
|---|---|---|
| 사용 분야 | 분류 | 회귀 |
| 출력 형식 | 확률 (0~1) | 연속값 |
| 민감도 | 예측이 틀릴수록 손실이 급격히 커짐 | 점진적으로 증가 |
| 분류 문제 적합성 | 매우 적합 | 부적합 (학습 어려움) |
| 예시 모델 | 로지스틱 회귀, CNN 분류기 등 | 선형 회귀 등 |
4. 예시
분류 문제 (y = 1, 예측값 p = 0.01)
- Cross Entropy:
-log(0.01) ≈ 4.6(큰 손실) - MSE:
(1 - 0.01)^2 = 0.9801(작은 손실)
즉, Cross Entropy는 예측이 틀릴 때 더 강하게 패널티를 줘서 학습을 잘 유도합니다.
AI developer