[ISLR] Chap 7. Moving Beyond Linearity

Elin·2021년 8월 5일

ISLR 머신러닝

ISLR

목록 보기

3/4

목표: 선형성 가정을 하지 않고도 해석이 가능한 모델 만들기

Polynomial regression: 기존의 predictor의 power를 높이면서 선형 모델 확장
- cubic regression: X, X^2, X^3
Step function: 변수의 범위를 K개로 분리
regression spline: 변수의 범위를 K개로 분리 + 그 범위 안에서 polynomial function 도입
- region boundary에서 이 함수들이 smooth하게 이어질 수 있도록 함
smoothing spline: regression spline과 비슷. RSS 값을 최소화하는 기준으로
local regression: spline과 비슷하지만 region이 겹치는 것을 허용
generalized additive model: multiple predictors

7.1 Polynomial Regression

εi: 오차
x, x^2, x^3...를 가지는 선형 회귀식
보통 d 값은 3, 4보다 크지 않음
Age와 Wage 간의 관계 확인을 위해서는 각각의 추정 계수 보다는 전체 적합된 함수에 초점
좌측 그래프를 보면 high earners, low earners로 나뉘어짐
- logistic regression으로 binary group 형성 가능
우측 그래프는 high earners에 대한 regression model
- 전체 데이터 3000개 중 79개 뿐이라서 높은 분산과 넓은 confidence interval을 가짐

7.2 Step Functions

polynomial function은 X에 대한 비선형 함수에 대한 전역 구조가 적용
step function은 X의 범위를 bins로 나누어 각 bin에 다른 상수를 적합
Ck는 indicator function
- 이렇게 정의된 X를 dummy 변수라고도 함
- 모든 Ck의 합은 1
각 bin 안에서의 trend를 놓칠 수 있음
ex. first bin에서 increasing trend를 무시함

7.3 Basis Functions

b1(x), b2(x),...에 대한 standard linear model
- linear regression에 사용되는 모든 추정 tool(coefficient estimate, standard error, F-statistics) 사용 가능
polynomial function: bk(x) = x^k
piecewise constant function: bk(x) = I(ck≤x<ck+1)

7.4 Regression Splines

Piecewise Polynomials

X의 region마다 low-degree polynomials 적합
knots: coefficient가 변화하는 point를 knots
- knots가 많아질수록 flexible한 모델
- K개의 knots -> K+1개의 cubic polynomials
ex.
- c: knots
- 각각의 polynomial funtion은 least quares를 사용하여 fit

Constraints and Splines

piecewise cubic: X = 50 에서 연속이 아님
- df: 8
continuous piecewise cubic: X = 50 에서 연속
cubic spline: X = 50 에서 연속, first derivative 연속, second derivative 연속
- df: 5(=8-3(constraints))
- 보통 4+K개의 df를 가짐(K=knots의 개수)
  - 두 점을 연결하는 선: 3차 다항식 -> df=4
  - knots 하나당 df=1 추가
linear spline: X = 50 에서 연속

The Spline Basis Representation

Cubic spline

X, X^2, X^3, h(X, ε1), ... , h(X, εk): K+3개의 predictors
K+4개의 regression coefficients
h(X, ε): truncated power basis

Natural spline

: 끝의 boundary에서는 함수가 linear하도록 boundary constraints가 추가된 spline

cubic spline의 경우 가장자리 boundary에서 분산이 매우 큼
natural spline을 사용해서 더 stable한 추정값을 얻을 수 있음

Choosing the Number and Locations of the Knots

Where should we place the knots?

함수가 가장 빠르게 변할 것 같은 곳에 많은 knots를, stable할 것 같은 곳에 적은 knots를 배치
uniform 형태로. ex. 25, 50, 75 percentiles

How many knots should we use?

다양한 수의 spline 해보고 가장 좋아보일 때로 정함
cross-validation을 통해 RSS가 가장 작아질 때로 정함

Comparison to Polynomial Regression

regression spline이 더 좋은 결과
- degree는 고정된 상태에서 knots의 개수만 증가시켜 flexibility 증가 -> 더 stable

7.5 Smoothing Splines

An Overview of Smoothing Splines

smoothing spline: 위 식을 최소화하는 함수 g
loss+penality 형태
- loss function: encourages g to fit data well
- penalty function: encourages g to be smooth
  - second derivative function(-> measures roughness)의 integral 형태: g가 smooth 하면 값이 작음
λ: tuning parameter
- λ=0: 과적합 가능성 높음
- λ=무한대: linear least squares line
- 편향-분산 트레이드오프 조정
위 식을 최소화하는 함수 g(x)는 knots를 x1~xn에서 가지는 natural cubic spline
- shrunken version of natural cubic spline
- λ 값이 shrinkage 값을 조정

Choosing the Smoothing Parameter λ

dfλ: measure of flexibility of the smoothing spline
fitted values of g
- Sλ: nxn matrix
- y: response vector
effective degrees of freedom: Sλ의 대각 요소의 합
LOOCV(leave-one-out CV)를 통해 계산된 RSS가 가장 작을 때의 λ 선택
ex.
- 두 경우 차이가 크지 않으므로 이 경우에는 비교적 간단한 모델인 6.8 df spline을 선택

7.6 Local Regression

: target point에서 이웃 데이터만을 가지고 fit

과정

Step 1: x0와 가까운 s = k/n만큼의 학습데이터를 선택

span s에 따라 flexibility가 변함
s가 커지면 global fit이 됨

Step 2: Ki0 = K(xi, x0) 을 각 point에 지정

x0와 가장 먼 point의 weight = 0

Step 3: wls 학습

위 식을 최소화하는 β0, β1 찾기

Step 4: fitted value

varying coefficient model의 적용

최근에 수집된 다양한 계수 모형 데이터에 모형을 적용하는 경우에 유용
변수 X1과 X2 쌍에 로컬인 모형을 적합하려는 경우에 유용
하지만, 차원이 3, 4 이상으로 높아지면 결과가 안 좋음(b/c x0에 가까운 훈련 데이터셋이 적음)

7.7 GAM(Generalized Additive Models)

다중 선형 회귀의 확장(변수 여러 개)
additivity를 유지하면서 각 변수의 비선형 함수로 확장

GAMs for Regression Problem

multiple regression에서 βjXij를 fj(xij)로 대체한 형태
why additive model?
- Xj에 대해 개별 fj를 계산하여 그들을 합한 것으로 나타내었기 때문
ex.
- f1, f2: natural splines, f3: step function(dummy variable)
  - least square 방법으로 fitted value 구할 수 있음
  - 다른 변수들을 고정시켜두었을 때,
    - year에 따라 wage 증가
    - intermediate age일 때 wage가 최고
    - education에 따라 wage 증가
- f1, f2: smoothing splines, f3: step function(dummy variable)
  - gam()이라는 함수가 backfitting 방법을 통해 계산
  - backfitting: 다른 변수들은 고정시킨 채로 변수마다 돌아가면서 fit을 update하는 방식
보통은 natural spline과 smoothing spline을 섰을 때의 차이가 작음
다른 모델을 사용해도 됨(local regression, polynomial...)