1. 지도 학습의 개요

• 지도 학습 은 데이터와 해당 정답 ( 출력값 ) 을 제공하여 모델을 학습시키는 방식
• 지도 학습의 대표적인 예는 선형 회귀 이며, 이는 기본적인 기계 학습 모델 중 하나

2. 지도 학습과 선형 회귀의 개념

• 지도학습
  • 지도 학습은 입력 과 출력 을 포함하는 훈련 데이터셋을 사용하여 모델을 학습
  • 지도 학습 모델의 목표는 주어진 입력 데이터에 대해 가장 적절한 출력을 예측하는 것
• 선형회귀
  • 선형 회귀 모델은 데이터셋의 입력과 출력 간의 관계를 직선 형태의 함수로 표현하는 모델
  • 선형 회귀를 통해 수치 값을 예측할 수 있으며, 이는 회귀 문제로 분류

3. 선형 회귀의 수학적 표현

선형 회귀 모델은 아래와 같은 수식으로 표현

$f(x)=wx+b$

$w : 기울기(가중치, weight)$

$b : 절편(bias)$

$x : 입력 값$

$f(x) : 예측 값$

4. 지도 학습 모델의 훈련 과정

4-1. 데이터 수집 및 전처리

• 주어진 데이터셋을 분석하고 필요한 정리 과정을 거침

4-2. 모델 학습

• 훈련 데이터셋을 사용하여 모델을 학습

4-3. 비용 함수 정의

• 모델의 예측 값이 실제 값과 얼마나 차이가 있는지를 평가하기 위한 비용 함수를 설정

4-4. 경사 하강법 적용

• 비용 함수 값을 최소화하는 방향으로 모델의 파라미터 ( $w$ , $b$ ) 를 조정

4-5. 최적의 모델 획득

• 최적의 파라미터 값을 찾으면 모델 학습 완료

5. 비용 함수 (Cost Function)

비용 함수는 모델이 얼마나 정확한지 측정하는 함수로, 대표적인 비용 함수는 평균 제곱 오차(Mean Squared Error, MSE)이다.

$MSE = \frac{1}{m} \sum_{i=1}^{m} (f_w(x^i) - y^i)^2$

• 비용함수 $J(w,b)$는 MSE의 변형으로, 미분을 간단하게하기 위해 $\frac{1}{2}$을 곱한 형태
  $J(w, b) = \frac{1}{2m} \sum_{i=1}^{m} (f_w(x^i) - y^i)^2$

$m : 훈련 데이터의 개수$

$f_w(x^i) : 모델이 예측한 값$

$y^i : 실제 정답 값$

비용 함수는 모델의 예측 값과 실제 값 간의 오차의 제곱을 평균한 값이며, 이를 최소화하는 것이 목표이다.

6. 경사 하강법 (Gradient Descent)

경사 하강법은 비용 함수가 최소화되는 방향으로 모델의 파라미터를 조정하는 최적화 알고리즘이다.

6-1 경사 하강법 업데이트 식

$w := w - \alpha \frac{\partial J}{\partial w}, \quad b := b - \alpha \frac{\partial J}{\partial b}$

$\alpha : 학습률 (Learning Rate)$

$\frac{\partial J}{\partial w}, \frac{\partial J}{\partial b} : 비용 함수에 대한 기울기(미분값)$

6-2 경사 하강법 적용 과정

1. $w$ 와 $b$ 를 임의의 값으로 초기화

2. 비용 함수의 기울기 ( 미분 값 ) 를 계산

3. $w$ 와 $b$ 를 기울기 반대 방향으로 업데이트

4. 비용 함수의 값이 더 이상 감소하지 않을 때까지 반복

7. 경사 하강법의 학습률 선택

• 학습률이 너무 작으면 최적의 값을 찾는 데 시간이 오래 걸림

• 학습률이 너무 크면 최적값을 지나쳐서 발산할 가능성이 있음

• 적절한 학습률을 선택하는 것이 중요

8. 선형 회귀의 훈련 과정 시각화

경사 하강법을 통해 비용 함수가 최소화되는 과정을 시각적으로 나타낼 수 있다.

• 등고선 그래프: 비용 함수의 값이 같은 지점을 연결한 그래프

  • 학습 과정 동안 파라미터 $(w,b)$가 점점 최적의 값으로 이동하는 경로를 확인할 수 있음

• 3D 표면 그래프: 비용 함수 값을 3차원으로 표현한 그래프

  • 경사 하강법이 점점 최저점(최적해)으로 이동하는 과정을 보여줌

• 비용 함수 그래프: 학습 단계별 비용 함수 값$𝐽(𝑤,𝑏)$이 점점 줄어들어 최소값에 도달하는지 확인하는 그래프

9. 일괄 경사 하강법 (Batch Gradient Descent)

전체 데이터셋을 사용하여 기울기를 계산하고 모델을 업데이트하는 방식.

• 모든 훈련 샘플을 고려하기 때문에 안정적인 학습이 가능하지만 계산량이 많음

10. 선형 회귀 모델의 활용

• 주택 가격 예측

• 제품 판매량 예측

• 주식 가격 예측

• 경제 데이터 분석

• 의료 분야에서 질병 예측