회귀(Regression) 이란?

회귀 유래와 의미

• 유래
  • 회귀라는 개념은 프랜시스 골턴의 실험으로 부터 유래함
  • 아주 큰 키를 가진 부모의 자식 키는 크지만 부모만큼 크지 않고 평균값으로 돌아가는 (regress) 경향을 보임
• 정의
  • 회귀란 뒤로 돌아가다라는 뜻
  • 설명 변수로부터 반응 변수를 예측하는 통계적 기법

빈선형 문제와 기저 함수

왜 기저 함수가 필요한가?

• 문제
  • 현실에서는 입력과 출력의 관계가 비선형적인 경우가 많음
  • 단순 선형 회귀를 적용하면 언더피팅이 발생
• 해결
  • 입력을 기저 함수를 통해 변환: $x => [x, x^2, x^2]$
  • 선형 모델을 비선형 공간에서 사용 가능하도록 해줌
  • 모델의 단순함과 해석 가능한 선형 기법을 유지하면서 복잡한 패턴에 적합 가능

기저 함수란?

• 정의

  • 입력 데이터를 새로운 공간으로 변환하는 수학적 함수
  • 선형 회귀 모델 또는 다른 선형 모델을 더 효과적으로 적용하도록 도움
  • 비선형적 관계를 더 잘 포착하기 위해 원래 특성을 그대로 사용하지 않고 기저

• 장점

  • 선형모델의 유연성을 높여 비선형성 도입
  • 선형기법을 유지하면서도 복잡한 패턴을 적합 가능

기저 함수의 수학적 표현

1. 입력 x 가 있다고 가정한다.
2. 기저함수 집합 ${\phi_1(x), \phi_2(x), \dots, \phi_M(x)}$ 이 입력 x 를 새로운 특징 백터로 변환한다.
3. 모델은 다음과 같아진다.

• $h_\theta(x) = \theta_0 + \theta_1 \phi_1(x) + \theta_2 \phi_2(x) + \cdots + \theta_M \phi_M(x)$
• $y(x, \mathbf{w}) = w_0 + w_1 x + w_2 x^2 + \ldots + w_M x^M = \sum_{j=0}^{M} w_j x^j$
• $y(\mathbf{x}, \mathbf{w}) = w_0 + \sum_{j=1}^{M-1} w_j \phi_j(x)$

Feature 와 Basis 의 개념

• Feature
  • 정의: 측정 가능한 데이터의 개별적인 특징 또는 속성
  • 원본 특성: 데이터에서 직접 측정되거나 관찰된 원시 입력 변수 ($x$)
  • 변환된 특성: 원본 특성에 기저 함수를 적용하여 생성된 새로운 변수 ($x^2, sin(x)$)
• Basis
  • 공간을 정의할 수 있는 벡터의 집합
  • 해당 공간의 어떤 점의 위치라도 설명할 수 있도록 도와줌
  • 기저 벡터들은 서로 독립적이며 공간을 생성함
  • 기저 백터들은 공간의 구성요소
  • 기저 백터의 수는 공간의 차원 수와 동일
  • 단위 백터는 크기가 1인 백터, 주어진 공간에서 방향을 나타내는데 사용

기저 함수의 종류

다항 기저 함수

• 정의
  • 입력 데이터를 고차원 공간으로 변환하는 다항식 함수 집합
• 사용이유
  • 간단하고 구현 쉬움
  • 선형 포착에 효과적
• 장점
  • 이해 해석 쉬움
  • 유연함
• 단점
  • 다항식 차수가 너무 높으면 과적합 발생 가능
  • 입력 데이터의 정규화나 스케일링이 필요할 수 있음
• 예시
  • 입력 $x$에 대해: $\phi_1(x)=x$, $\phi_2(x)=x^2$, $\phi_3(x)=x^3$

가우시안 기저 함수

• 정의

  • 가우시안(종 모양) 함수를 사용하여 입력 데이터 변환

• 예시

  • 입력 $x$, 중심 $\mu$, 폭 $\sigma$
  • $\phi_j(x) = \exp\left\{-\frac{(x-\mu_j)^2}{2\sigma^2}\right\}$

• 장점

  • 지역적 패턴을 가진 국소적 데이터 처리에 유리
  • 비선형 관계를 부드럽게 포착 할 수 있음

• 단점

  • 적절한 매개변수 설정어려움 (국소화 및 일반화)
  • 대규모 데이터셋에 대해 계산 비용이 높음 (지수 계산)

• 예시

  • 방산 기저 네트워크: 신경망에서 입력값을 변환 국소적 변화 감지에 유용
  • 커널 방법 (SVM): 데이터를 고차원으로 매핑해 분류
  • 가우시안 혼합 모델: 이상감지, 밀도추정, 클러스터링

시그모이드 기저 함수

• 정의
  • 입력 데이터를 변환하는 데 사용되는 시그모이드 함수 (s자, 신경망)
• 예시
  • $\phi_j(x) = \sigma\left(\frac{x-\mu_j}{s}\right) = \frac{1}{1+\exp^{-x}} = \frac{1}{1+\exp^{-\frac{(x-\mu_j)}{s}}}$
• 장점
  • 0과 1사이 값을 반환하기 -> 이진 분류 효과적 처리
  • 부드럽고 미분가능하여 경사 기반 최적화에 적합 -> 기울기 폭발 방지
• 단점
  • 기울기 폭발 가능성
• 예시
  • 초기 신경망
  • 로지스틱 회귀