2025/03/18 TIL

1. 회귀 분석 개요

회귀 분석이란?

• 종속변수(Y)와 하나 이상의 독립변수(X) 간의 관계를 추정하여, 연속형 종속변수를 예측하는 통계/머신러닝 기법

  • ex) “공부한 시간(X)에 따라 시험 점수(Y)가 어떻게 변하는가?” 를 예측

• 지도학습에서의 분류(Classification)와 회귀(Regression)의 차이

  • 분류: 결과값이 이산형(클래스 라벨)
  • `회귀:` 결과값이 연속형(숫자 값)
  • 사람의 지능적인 작업을 기계가 수행하도록 만드는 광범위한 개념

회귀 모델을 사용하는 이유

1️⃣

미래 값 예측

: 판매량, 주가, 온도 등 실수값 예측에 사용

2️⃣

인과 관계 해석(통계 관점)

: 특정 독립변수가 종속변수에 미치는 영향력을 해석하기 위해

3️⃣

데이터 기반 의사결정

: 추세(Trend) 파악, 자원 배분 등

회귀 모델의 대표적 활용 사례

• 〽️ 경제

  • 주식 가격 예측, 판매량 예측

• 💊 건강

  • 혈압, 콜레스테롤 수치 예측

• 🧰 제조업

  • 불량률, 생산량 예측(ex : 온도, 습도, 기계 속도 등의 데이터 이용)
  • 생산 설비에 부착된 센서(온도, 진동, 소음 등)에서 수집된 데이터를 바탕으로, 장비 고장 시점을 사전에 예측

2. 선형 회귀 (Linear Regression)

개념

• 가정

  • 독립변수(X)와 종속변수(Y)가 선형적(일차 방정식 형태)으로 관계를 맺고 있다고 가정

• 회귀식
  

선형 회귀 모델 학습 과정

1️⃣

가중치(회귀계수) 초기화

2️⃣

손실함수(Loss Function) 설정

: 주로 MSE(Mean Squared Error) 사용

3️⃣

최적화

: 수학적인 방법(최소자승법), 경사하강법(Gradient Descent) 등을 통해 가중치를 업데이트

4️⃣

학습 완료 후

: β0,β1,…를 얻어서 새로운 입력 값에 대한 예측 수행

장단점

• 장점: 해석이 간단, 구현이 쉬움
• 단점: 데이터가 선형성이 아닐 경우 예측력이 떨어짐

3. 다항 회귀 (Polynomial Regression)

개념

• 비선형적인 관계를 다항식(polynomial) 형태로 모델링
• ex) 2차 다항식
  
• 선형 회귀와 다른 점은, 단순 선형항($X$)뿐만 아니라 $X^2, X^3$,... 같은 고차항을 추가해 비선형 패턴을 학습할 수 있다는 것

다항 회귀 적용 예시

• 제조 공정에서의 온도와 반응률 관계가 곡선 형태인 경우
• 건강 데이터에서 나이와 특정 지표(근육량 등)가 단순 선형보다 곡선 형태로 나타나는 경우

주의점

• 고차항을 무작정 늘리면 훈련 데이터에는 과도하게 맞춰져 과적합(overfitting) 문제가 발생할 수 있음
  • 참고!) 여기서 과적합은 ‘일반화가 잘 되지 않은 상황’이라고 언급하고 추후 ‘앙상블’내용에서 과적합을 자세히 설명하겠습니다 🙂
• 모델 복잡도와 일반화 성능 간의 균형을 맞춰야 함

총 정리

1️⃣

회귀 모델은 연속형 결과 변수를 예측하는 데 사용한다.

2️⃣

선형 회귀는 가장 기본적인 형태지만, 데이터의 패턴이 비선형일 경우 다항 회귀 등을 고려해야 한다.

3️⃣

규제(Regularization) 기법을 활용한 모델(Lasso, Ridge)은 가중치를 규제하여 과적합을 방지한다.

4️⃣

앙상블 기법(Gradient Boosting, XGBoost 등)을 사용하는 경우 복잡한 비선형 패턴을 더 잘 포착할 수 있다 (추후 배울 내용)

5️⃣

모델의 성능 평가는 MAE, RMSE, R² 등 다양한 지표를 통해 진행한다.