How to make an assessment of a model?

우리가 어떤 머신러닝 모델을 만들었을 때, 모델의 성능은 어떻게 측정할 수 있을까🤔? 간단히 생각해보면, 서로 다른 데이터셋들에 대해 모델의 정확도를 측정하고, 이들을 종합해서 지표화하면 될 것이다. 이때 데이터셋들은 확률적으로 독립이어야 할 것이다. 모델의 성능을 측정하는 것은 매우❗️ 중요한 문제이다. 실제로 모델을 개발해야 할 때, 다양한 성능지표가 이용될 수 있고 이에 따라 사용하는 머신러닝 기법 역시 달라질 수 있기 때문이다. 이번 게시글에서는 모델의 성능 측정 방법들에 대해 다루어보도록 하자.

Bias-Variance tradeoff

머신러닝과 관련된 글들에서 계속적으로 다루는 내용이 편향과 분산의 최적화에 대한 내용이다. 모델의 복잡성이 증가할 수록 편향이 감소하지만 분산이 올라가고, 따라서 이 둘 사이의 tradeoff 관계를 적절히 맞출 hyperparameter(ex. Spline Model에서 매듭의 개수)를 조율하는 것이 중요한 문제였다.

Target Variable $Y$와 Input Vector $X$에 대해 모델을 훈련시킨다는 것은, Training set $\mathcal{T}$로부터 적절한 모형을 설정하여 $Y$에 대한 예측값 $\hat f (X)$를 구하는 것이다. 당연히 주어진 변수와 예측값 사이에는 오차가 발생할 수 밖에 없으며, 이 오차를 측정하는 함수 $L(Y,\hat f(X))$ 를 Loss function손실함수라고 정의한다. 대표적으로 squared error $(Y-\hat f(X))^2$와 absolute error $|Y-\hat f(X)|$가 있다.

Test error(generalization error라고도 한다)는 독립적인 test sample에 대한 예측오차prediction error로,

로 표현된다. 여기서 주목해야할 것은 Training set $\mathcal T$가 고정되어 있으므로, 위 test error는 고정된 특정 훈련 데이터셋을 기준으로 한 오차를 의미한다. 그런데 위 식은 기댓값의 형태이므로 확률변수가 존재하여 randomness 역시 가지고 있음을 의미한다. 반면, Training error는 훈련 샘플들에 대한 손실함수의 표본평균이다. 즉,

를 의미한다. 이 두 가지 오차중 우리가 실제로 관심을 가져야 하는것은 훈련 중 오차가 아닌 실제 테스트를 수행했을 때의 오차에 대한 기댓값이다. 그러나 Training error는 모델을 복잡하게 하여 bias를 낮추기만 한다면 계속해서 감소하는 성질이 있는 반면, Test error는 bias가 낮아져도 모델의 복잡성이 올라가면 오차가 반드시 감소하지는 않는데, 이는 다음 decomposition에서 확인할 수 있다. Training error가 0인 모델을 구현했다고 하면, 이는 다른 데이터셋에서는 매우 형편없이 작동할 것이므로, Training error는 test error의 좋은 추정치가 되지 못한다. 따라서, 다른 추정치들로 어떤 것들이 이용되는지를 살펴보도록 하자.

Bias-Variance Decomposition

먼저, 제곱오차를 기준으로 살펴보도록 하자. 모델이 $Y=f(X)+\epsilon$ 형태로 주어지고 $E[\epsilon]=0, \text{Var}(\epsilon)=\sigma_\epsilon^2$ 이 성립한다고 하자. 이때 $X=x_0$에서의 기대예측오차EPE는 다음과 같이 분해될 수 있는데, 이를 bias-variance decomposition이라고 한다.

마지막 식에서 첫째항은 모델의 추정에 관계없이 발생하는 데이터로부터의 오차이므로 우리가 컨트롤 할 수 없다. 따라서 bias와 variance만이 남으며, 이는 tradeoff관계가 있으므로 모델의 복잡성을 컨트롤하는것이 필요하다.

Estimate of Training error

Training set $\mathcal T=\{(x_1,y_1),(x_2,y_2),\ldots,(x_N,y_N)\}$ 이 주어지고 이때 어떤 모델 $f$와 새로운 test 데이터 $(X^0,Y^0)$에 대한 test error를 다음과 같이 나타내자.

그런데 training set $\mathcal T$ 역시 어떤 확률분포로부터 random하게 얻을 수 있는 데이터셋이므로, 우리는 $\mathcal T$에 대해 기댓값을 취할 수 있고, 이를 다음과 같이 나타내도록 하자.

그렇다면 위 식의 $\text{Err}$는 새로운 데이터에 대해 기존 test error보다 더 통계학적으로 접근할 수 있게 된다.

Optimism

간단히 생각해보면, training error는 모델을 추정하는데 이용하는 데이터셋을 바탕으로 그대로 (training) error를 추정하기 때문에 랜덤성이 더 높은 test error보다 오차가 낮을 수 밖에 없다. 즉, Test error와 Training error의 불일치가 발생하는 것은 모델의 평가evaluation이 어떤 데이터셋에서 이루어지느냐에 기인한다. 우선 다음과 같이 정의된 In-sample error에 주목해보자.

여기서 $Y^0$는 각 training point $x_i,\;\;i=1,2,\ldots,N$ 에 대해 각각 1개의(총 $N$개의) 새로운 반응변수를 관찰한 것을 의미한다. 즉, Training error와의 차이점은 training 데이터셋으로 모델 추정을 하고, training 데이터셋의 반응변수가 아닌 새로운 반응변수를 확률변수로 설정하여 이에 대한 기댓값을 이용했다는 것이다. 이때 In-sample error와 training error의 차이를 optimism이라고 정의하자.(이 책의 저자는 아마 training error가 test error에 비해 일반적으로 더 낮으므로 더 optimistic한 error라는 의미에서 정의한 것 같다🤔 )

또한, optimism 값은 일반적으로 training error가 예측오차보다 더 낮으므로 양의 값을 가진다고 보면 될 것이다. 마지막으로, optimism 역시 확률변수 $Y$와 관련되어있으므로 이에 대한 기댓값을 정의할 수 있다.

일반적으로 Training set에 대한 조건부 오류 $\text{Err}_\mathcal T$를 사용하는 것 대신 이에 대한 기댓값 $\text{Err}$을 추정하는 것과 마찬가지로, 여기에서도 optimism 값을 직접 사용하는 것 보다, $\omega$ 에 대한 추정치를 사용할 수 있다.

Estimates of In-sample prediction error

Mallow's Cp

앞서 정의한 것 처럼 training error는 표본평균이므로, 우리는 In-sample error에 대해 다음과 같은 추정치를 정할 수 있다.

이때 $\hat\omega$는 optimism 값의 기댓값에 대한 추정치이다. 여기서 optimism의 기댓값인 $\omega$에 대해 다음이 성립하는데,

이는 모든 손실함수 종류에 대해 성립한다. 만일 제곱오차손실함수를 이용하고, d개의 모수가 추정되는 상황(d개의 basis function이 이용되는 상황이라고 보면 된다)이라면 식 (1)과 (2)로부터

라는 형태로 In-sample estimate를 정의할 수 있는데, 이를 (Mallow's) $C_p$ statistic이라도고 한다. 이를 이용하면, Training error를 구하고 사용되는 basis function의 개수에 비례해서 In-sample error를 추정할 수 있다.

AIC

AICAkaike information criterion는 $C_p$와 마찬가지로 In-sample error에 대한 추정치로 사용되는데, 로그가능도비log-likelihood 손실함수가 사용될 때 일반적으로 적용된다. 이는 식 (1)과 유사한 관계식을 이용하는데, 다음 관계식에서 $N\to\infty$ 일 때 점근적으로 성립한다.

위 식에서 $P_{\hat \theta(Y)}$ 는 반응변수 $Y$에 대한 확률밀도를 의미하며 $\hat\theta$ 는 $\theta$에 대한 최대가능도추정량mle이고, $\text{loglik}$는 다음과 같은 최대화된 로그가능도를 나타낸다.