본 포스팅의 내용은 Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani, Jonathan Taylor (2023), 「An Introduction to Statistical Learning with Applications in Python」, Springer 를 참고하였습니다.
선형회귀는 모형에 대한 선형관계를 '가정'하였기 때문에 모수적 접근법이라고 할 수 있다.
모수적 접근법의 장점은 계수가 적을 때 적합하기 쉽고 계수 해석이 단순하며, 통계적 유의성을 쉽게 판단할 수 있다는 것이다.
하지만 함수 에 대한 강한 가정은 예측에 대한 정확도를 높이는 과정에서 좋지 않다는 단점이 있다.
반면 비모수적 접근법은 함수 에 대한 명시적인 가정을 하지 않아 더 유연한 접근이 가능하다.
이 장에서는 가장 단순하고 잘 알려진 K-최근접이웃 회귀(KNN, K-nearest neighbors regression)에 대해 생각해 볼 것이다.
KNN 회귀방법은 KNN 분류기를 통해 K값과 예측지점 이 있을 때, 예측지점에 가장 가까운 K개의 훈련 관측들을 식별해 이것을 라고 한다.
에 있는 모든 훈련 반응의 평균을 이용해 를 평가한다.
다음은 예측변수가 p=2인 데이터 세트에 대해 K 값에 차이를 둔 두 가지 KNN을 적합한 결과이다.
[그림 3.16] 관측값이 있는 2차원 데이터 세트에서 KNN 회귀를 사용한 그래프이다. 왼쪽은 K=1일 때, 오른쪽은 K=9일 때 적합결과이다.
K = 1일 때 KNN적합은 훈련관측값에 완벽하게 근접해 있고, K = 9일 는 왼쪽 적합결과 보다 더 매끄러운 계단함수를 볼 수 있다.
2장에서 소개한 것 처럼 K 값이 작을 때는 가장 유연한 적합을 할 수 있고, 이는 낮은 편향과 높은 분산을 가지게 될 것이다.
최소제곱 선형회귀같은 모수적 방법이 비모수적 접근법보다 우수한 성능을 보일 상황은 언제일까?
정답은 선택된 모수의 형태 함수 가 참 형태(모수적 방법일 때는 선형)에 가까운 경우이다.
[그림 3.17] 참 관계를 검은색 실선으로 나타냈으며, 파란색 선은 각각 K = 1, K = 9일때 KNN 회귀모형을 적합했을 때이다.
K =1일 때는 변동성이 커 참 형태(검은색 실선)에 크게 벗어나며, K = 9일 때는 훨씬 매끄럽게 참 형태과 근접함을 알 수 있다.
하지만 이러한 참 관계가 선형인 경우에는 비모수적 방법은 큰 힘을 쓰지 못한다.
[그림 3.18] 왼쪽: 파란색 파선은 데이터에 대한 최소제곱 적합 결과, 오른쪽: 수평 파선은 최소제곱 테스트 세트MSE를 나타내며, 녹색 실선은 1/K의 함수로 KNN의 MSE를 나타낸다.
오른쪽 그래프를 통해 최소제곱 적합을 통해 나타낸 최소제곱 테스트 세트MSE가 1/K의 함수로 표시된 KNN 테스트 세트의 MSE보다 훨씬 낮다는 것을 알 수 있다.
즉, 함수에 대한 참 형태가 선형에 가깝다면, K값이 커지더라고 KNN 오차가 약간 줄어들 뿐, 선형회귀 모형보다 성능이 훨씬 나쁠 것이다.
하지만 현실세계에서는 사이의 참관계가 정확히 선형인 경우는 드물다.
다음 그림은 사이에 비선형 정도가 증가함에 따라 최소제곱 적합과 KNN 적합의 성능 차이를 보여준다.
[그림 3.19] 간에 약간의 비선형 관계가 있을 때, KNN적합(K = 1, K = 9)과 최소제곱적합의 차이를 나타낸 결과.
위의 약간의 비선형관계에 있는 경우에는 KNN의 테스트 MSE는 K>=4일 때 선형회귀 테스트 MSE 보다 줄어듬을 알 수 있고, 성능이 더 좋아진다.
아래의 강한 비선형관계의 함수 같은 경우에는 모든 K값의 KNN 테스트 MSE값이 선형회귀 테스트 MSE보다 낮음을 확인할 수 있다.
즉, 비선형의 정도가 증가함에 따라 비모수적 방법의 성능이 좋아짐을 알 수 있다.
그러나 더 높은 차원(변수의 개수의 증가)에서는 KNN이 선형회귀보다 성능이 떨어지는 경우도 있다.
[그림 3.20] 선형회귀와 KNN 테스트 MSE를 변수의 개수의 증가에 따라 제시한 결과.
예측변수에 비선형관계가 강한 변수를 설정을 했을 때,
변수의 개수가 1 또는 2개일 때는 KNN의 성능이 더 우수함을 알 수 있다.
P = 3은 KNN과 선형회귀의 성능이 비슷함을 알수 있다.
P >= 4부터는 선형회귀가 KNN보다 성능이 우수하다.
차원 증가에 따른 성능 감소는 KNN에서의 흔한 문제인데, 높은 차원에서 표본 크기가 실질적으로 감소한다는 것이다.
(비모수적 방법의 장점은 유연함, 단점은 변수가 많을 때 많은 데이터셋이 필요하다 - 2장)
차원이 높을 때, 충분한 데이터 셋을 가지지 못하는 현상을 차원의 저주라고 한다.
또한 차원이 낮을 때에도 MSE가 조금 높더라도 해석을 용이하게 하기 위해 성능이 낮은 선형회귀를 선택할 수도 있다.
