선형 회귀의 목적은 Loss 를 줄이는 것이다.

• w: 가중치, b: bias

테스트 데이터를 과도하게 학습하면 데이터를 설명하기위해 굴곡이 커져야함으로 가중치$w$가 증가하게 된다. 이는 과적합과 일반화 성능 저하를 일으키기때문에 $w$ 를 과하게 증가하지 않게 하기위해 $w$ 가 커지면 반대로 Loss 가 증가하게 패널티를 준다.

그런데 위와 같은 식으로 그냥 가중치를 더해버리면 가중치가 음수일때에는 오히려 Loss 가 줄어들어 패널티의 역할을 못하게 된다.

Lasso Regression

위에서 발생했던 음수 문제를 처리하기 위해서는 단순히 패널티에 절대값을 씌우면 된다. 이는 가중치 $w$ 들의 스칼라 값을 말하는 것이기도 하기에 L1 Norm (L1 정규화)를 패널티로 사용한다고 하여 L1 규제라고도 한다.

하지만 위의 식처럼 가중치 절댓값을 그대로 더하지는 않고 규제를 얼마나 할 것인가 -> $\lambda$ 를 통해 규제 정도를 조절한다.

$\lambda$ 커지면 왜 특성이 사라지는 것 처럼 동작하나

여기서 말하는 특성은 원본 데이터의 특성이 아니라 데이터를 설명하기 위해 생성된 $w$ 에 대한 선형방정식의 각 항을 말함.
규제 강도 $\lambda$ 를 키우면 Loss 를 줄이기 위해서 "데이터 설명에 기여가 적은 가중치"가 0으로 수렴하고, 그래서 해당 feature가 사라진 것처럼 동작함.

이 부분은 ridge / lasso 의 특징을 가르는 중요한 부분이긴 한데 잘 이해가 안감. 결론부터 말하자면

• lasso 는 데이터 설명에 기여가 적은 가중치가 완전히 0이 되는 경우가 많지만
• ridge 는 가중치가 완전히 0이 되는 경우가 거의 없다고 함.

이로 인해 lasso 에서는 correlated feature가 있을 때 하나만 선택하는 경향 이 있다고 함.

지금 나의 수학적 이해도로는 더 깊게 나아가는건 불가능해서 각각의 규제 방법을 열거만 해놓고 해당 포스트는 끝을 맺겠다.

방법	가중치
Linear regression	고정 값
Ridge	L2 regularization
Lasso	L1 regularization
Bayesian regression	확률 분포