머신러닝에서 학습 방법은 지도학습(Supervised Learning)과 비지도학습(Unsupervised Learning)으로 나뉜다고 하였다. 그 중 지도학습은 회귀와 분류 문제를 다루며, 여러 알고리즘들은 모델을 설정된 손실함수 J(θ)를 최소화하는 최적의 θ값을 찾는 방향으로 설계한다. 그렇다면 손실함수(Loss Function)란 무엇일까?
손실함수란 모델의 예측값이 정답과 얼마나 오차가 있는지를 손실로 나타내는 함수이다. 손실이 크다는 것은 예측값의 오차가 크므로 정확하지 않다는 것이고, 손실이 작아야 정답에 근접한 예측값을 도출한다는 얘기이므로 좋은 모델이라고 할 수 있겠다.
지도학습의 예측모델에서 손실함수는 모델의 예측값이 실제값과 최대한 비슷한 값을 도출할 수 있게끔 만들어주는 역할을 한다. 일단, 가설함수의 모양이 얼마나 데이터셋의 분포를 잘 표현하는지가 중요하고, 가설함수의 모양이 정해지면 모델은 경사하강법을 통해 손실이 줄어드는 방향으로 손실함수의 파라미터를 조정한다. 따라서 손실함수를 정의하고 손실을 줄이기 위해 파라미터를 업데이트하는 과정이 지도학습의 핵심이라고 할 수 있다.
손실함수는 모델이 학습을 할 때, 무엇을 고쳐야 하는지를 알려주는 방향 제시의 역할을 한다. 어떤 유형의 문제를 다루느냐에 따라 손실함수 역시 달라지며, 일반적으로 회귀문제에서는 손실함수로 MSE(Mean Squared Error: 평균제곱오차)를 많이 채택한다.
회귀문제의 손실함수로 MSE를 채택하는 이유는 큰 오차에 강한 패널티를 부여할 수 있다는 점과, 미분하기에 용이하여 최적화가 쉽다는 장점이 있기 때문이다. 그러나 이상치에 너무 민감하게 반응한다는 점이 단점으로 작용해, RMSE를 적용하는 경우도 있다.
분류문제의 손실함수는 Log Loss를 채택한다. 이는 분류 문제의 목적이 가장 작은 손실을 찾는 것이 아니라 가설함수의 결정경계선을 기준으로 분류를 잘 해내는 데에 있기 때문이다. Binary 형태의 분류문제에서 손실함수 Log Loss는 다음과 같다.
이미지 출처:
https://arize.com/blog-course/mean-absolute-error-in-machine-learning-what-you-need-to-know
https://machinelearningmastery.com/how-to-choose-loss-functions-when-training-deep-learning-neural-networks
https://www.analyticsvidhya.com/blog/2020/11/binary-cross-entropy-aka-log-loss-the-cost-function-used-in-logistic-regression
