# LASSO regression

ss-hj

선형회귀(Linear regression) 학습과정 임의의 파라미터 값을 설정해서 선형모델을 가정한다. train data로 학습한다. loss, cost를 사용해서 MSE를 구한다. 경사하강법을 사용해서 MSE가 가장 작은 파라미터를 찾는다. (Least Squares methods; 최소 제곱법) 이미지 출처: https://vitalflux.com loss는 실제값과 예측값 차이(오차)를 제곱한

cleansky

규제(Regularization)란 무엇인가? 우리 말로 정규화라고도 불린다. 그렇지만 나는 개인적으로 규제라고 번역되는 것이 더 자연스럽다고 생각한다. 그래서 여기서는 우리말로는 규제라고 번역한다. 독립변수의 수가 지나치게 많거나 변수간 다중공선성이 크다고 여겨질 때, 회귀 모델의 적합 성능을 향상시키기 위해 변수 선택이나 차원 축소 등의 방법을 사용할 수 있는데, 여기서 한 가지 더 선택할 수 있는 옵션이 바로 규제(Regularization) 방법이다. 이 방법은 회귀계수를 구할 때, 회귀 계수의 크기에 제약을 두어 설명력이 낮은 독립변수에 대한 가중치를 줄인다. 예를 들어, 다음과 같은 $m$차 [다항회귀모델](https://velog.io/@cleansky/%EC%9D%B8%EC%82%AC%EC%9D%B4%EB%93%9C-%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%EB%8B%A4%ED%95%AD%ED%9A%8C%EA%B7%80%EB