Regression
회귀
여러 개의 독립변수와 한 개의 종속변수 간의 상관관계를 모델링 하는 기법
머신러닝에서의 회귀
주어진 feature와 label 데이터 기반에서 학습을 통해 최적의 회귀 계수를 찾아내는 것
회귀의 유형
- 독립변수의 개수에 따라
- 단일 회귀
- 다중 회귀
- 회귀 계수의 결합에 따라
- 선형 회귀 : 실제 값과 예측값의 차이를 최소화하는 직선형 회귀선을 최적화하는 방식
- 비선형 회귀
오류 합의 계산
- RSS(Residual Sum of Square) : 오류 값의 제곱을 구해서 더함.
- MAE(Mean Absolute Error) : 오류 값에 절댓값을 취해서 더함.
Gradient Descent
: 점진적으로 반복적인 계산을 통해 W parameter값(회귀 계수)을 업데이트하면서 오류 값이 최소가 되는 W parameter를 구하는 방식
Ridge
: 선형 회귀에 L2 규제를 추가한 회귀 모델
- L2 규제 : 상대적으로 큰 회귀 계수 값의 예측 영향도를 감소시키기 위해 회귀 계수값을 더 작게 만드는 규제 모델
Lasso
: 선형 회귀에 L1 규제를 추가한 회귀 모델
- L1 규제 : 예측 영향력이 작은 피처의 회귀 계수를 0으로 만들어 회귀 예측 시 피처가 선택되지 않게 하는 것
ElasticNet
: L1, L2 규제를 함께 결합한 모델.
- 주로 feature가 많은 dataset에서 적용.
- L1 규제로 feature의 개수를 줄임과 동시에 L2 규제로 계수 값의 크기 조정
Logistic Regression
: 회귀 모델이지만 분류에 사용되는 선형 모델.
- 이진 분류, 희소 영역 분류에서 높은 예측 성능을 보임.
Regression Tree
Data Engineer🐣