1. 손실 함수(Loss function)란 ?

손실 함수(Loss function) 이란 머신러닝 모델이 예측한 값 $x$가 실제 정답 $y$ 와의 오차의 크기를 나타내는 함수이다.

AI 모델의 학습 목표는 이 손실 함수의 값을 최대한 작게 만드는 것이다. 손실 값이 작을 수록 모델의 예측이 더 정확하다는 의미를 가지기 때문이다.

2. L1 Loss - MAE

L1 손실은 오차의 절댓값을 사용한다. 이러한 특성 때문에 Mean Absolute Error(MAE)이라고도 한다.
특징으로는 오차를 있는 그대로 선형적으로 반영한다. 오차가 2배가 되면 손실 값도 정확하게 두배가 된다.

장점

• 이상치(Outliers)에 강함
• 오차의 크기를 그대로 나타내므로 해석이 쉽다.

단점

• $y=x$ 인 지점에서 미분 불가능하기에, 해당 지점에서 학습이 불안정해 질 수 있다.

3. L2 Loss - MSE

L2 손실은 오차의 제곱을 사용하며 Mean Squared Error(MSE)라고 한다.
회귀 문제에서 가장 널리 사용되는 손실 함수이며 오차가 클수록 손실값을 비선형적으로 크게만든다는 특징이 있다.

장점

• 모든 지점에서 미분 가능하기때문에 최적점에 안정적으로 수렴하기 좋다.
• 모델이 절대 해서는 안될 큰 실수를 저지르지 않도록 큰 오차에 대해 강력한 패널티를 부과한다.

단점

• 이상치(Outliers)에 매우 민감하기 때문에 모델 학습을 왜곡할 수 있다.