2025/03/20 TIL

회귀 분석이란?

• 종속변수(Y)와 하나 이상의 독립변수(X) 간의 관계를 추정하여, 연속형 종속변수를 예측하는 통계/머신러닝 기법

  • ex) “공부한 시간(X)에 따라 시험 점수(Y)가 어떻게 변하는가?” 를 예측

• 지도학습에서의 분류(Classification)와 회귀(Regression)의 차이

  • 분류: 결과값이 이산형(클래스 라벨)
  • `회귀:` 결과값이 연속형(숫자 값)
  • 사람의 지능적인 작업을 기계가 수행하도록 만드는 광범위한 개념

회귀 모델을 사용하는 이유

1️⃣

미래 값 예측

: 판매량, 주가, 온도 등 실수값 예측에 사용

2️⃣

인과 관계 해석(통계 관점)

: 특정 독립변수가 종속변수에 미치는 영향력을 해석하기 위해

3️⃣

데이터 기반 의사결정

: 추세(Trend) 파악, 자원 배분 등

선형 회귀 (Linear Regression)

개념

• 가정
  • 독립변수(X)와 종속변수(Y)가 선형적(일차 방정식 형태)으로 관계를 맺고 있다고 가정

선형 회귀 모델 학습 과정

1️⃣

가중치(회귀계수) 초기화

2️⃣

손실함수(Loss Function) 설정

: 주로 MSE(Mean Squared Error) 사용

3️⃣

최적화

: 수학적인 방법(최소자승법), 경사하강법(Gradient Descent) 등을 통해 가중치를 업데이트

4️⃣

학습 완료 후

: β0,β1,…를 얻어서 새로운 입력 값에 대한 예측 수행

장단점

• 장점: 해석이 간단, 구현이 쉬움
• 단점: 데이터가 선형성이 아닐 경우 예측력이 떨어짐

다항 회귀 (Polynomial Regression)

개념

• 비선형적인 관계를 다항식(polynomial) 형태로 모델링
• ex) 2차 다항식
  

• 선형 회귀와 다른 점은, 단순 선형항($X$)뿐만 아니라 $X^2, X^3$,... 같은 고차항을 추가해 비선형 패턴을 학습할 수 있다는 것

다항 회귀 적용 예시

• 제조 공정에서의 온도와 반응률 관계가 곡선 형태인 경우
• 건강 데이터에서 나이와 특정 지표(근육량 등)가 단순 선형보다 곡선 형태로 나타나는 경우

주의점

• 고차항을 무작정 늘리면 훈련 데이터에는 과도하게 맞춰져 과적합(overfitting) 문제가 발생할 수 있음
  • 참고!) 여기서 과적합은 ‘일반화가 잘 되지 않은 상황’이라고 언급하고 추후 ‘앙상블’내용에서 과적합을 자세히 설명하겠습니다 🙂
• 모델 복잡도와 일반화 성능 간의 균형을 맞춰야 함

회귀 모델 평가 방법

MSE (Mean Squared Error)

• 예측값과 실제값의 차이를 제곱하여 평균
• 오차가 클수록 제곱에 의해 더 큰 벌점이 매겨지므로, 큰 오차에 특히 민감
• 평균 제곱 오차라고도 하며, 회귀 모델 평가에서 매우 자주 사용됨

MAE (Mean Absolute Error)

• 예측값과 실제값의 차이를 절댓값으로 측정한 후 평균
• 예측이 평균적으로 실제값에서 얼마나 벗어났는지 직관적으로 표현

RMSE (Root Mean Squared Error)

• MAE와 달리 제곱을 통해 큰 오차에 가중치를 더 주는 특징
• 오차가 클수록 패널티가 커지므로, 큰 오차가 중요한 문제에서 자주 사용

R² (결정 계수)

• yˉ: 종속변수의 평균
• 값의 범위
  • 0 ~ 1 (음수가 될 수도 있음)
• 해석
  • 1에 가까울수록 학습된 모델이 데이터를 잘 설명한다고 볼 수 있음
  • 0이라면 모델이 종속변수를 전혀 설명하지 못한다는 의미