🗂️ 2024.08.19 TIL

머신러닝

Polynomial Regression

Polynomial Regression은 선형 회귀(Linear Regression)의 확장된 형태로, 데이터를 더 잘 설명하기 위해 다항식(polynomial) 항을 사용하여 회귀 모델을 만드는 방법. 이 모델은 독립 변수와 종속 변수 간의 비선형 관계를 학습하는 데 효과적.

✅ 일반적으로, $d$차 다항 회귀 모델은 다음과 같이 표현:

• $y = \beta_0 + \beta_1 X + \beta_2 X^2 + \beta_3 X^3 + \dots + \beta_d X^d + \epsilon$

✅ Polynomial Regression의 장단점

장점

• 비선형 관계 모델링:
  • Polynomial Regression은 독립 변수와 종속 변수 사이의 비선형 관계를 모델링할 수 있다. 선형 회귀로는 포착할 수 없는 복잡한 데이터 패턴을 잘 설명할 수 있다.
• 모델의 유연성:
  • 다항식의 차수를 조절함으로써 모델의 복잡성을 조정할 수 있다. 더 높은 차수를 사용하면 더 복잡한 패턴을 학습할 수 있지만, 필요에 따라 단순한 모델을 유지할 수도 있다.

단점

• 과적합(Overfitting) 위험:
  • 모델에 다항식 항이 많아질수록 과적합의 위험이 커진다. 높은 차수를 사용하면 모델이 훈련 데이터에 지나치게 맞춰져, 테스트 데이터에 대한 예측 성능이 저하될 수 있다.
• 설명 가능성의 감소:
  • 다항식의 차수가 높아질수록 각 회귀 계수의 해석이 어려워진다. 결과적으로, 모델이 어떻게 예측을 하고 있는지 설명하는 것이 복잡해질 수 있다.
• 데이터 스케일에 민감:
  • Polynomial Regression은 독립 변수의 스케일에 민감. 피처의 스케일 차이가 클 경우, 모델의 성능이 저하될 수 있으며, 이를 해결하기 위해 피처 스케일링(preprocessing)이 필요하다.