Kernel function

비모수통계학에서 커널은 비모수적 추정(nonparametric estimation) 기술로 사용되는 가중함수(weighting function) 이다.

확률변수들의 밀도함수를 추정하기 위해 커널밀도함수 추정(kernel density estimation)이나, 커널회귀(kernel regression)에서 확률변수들의 조건부 기댓값을 추정하기 위해 커널이 사용된다.

Definition

커널은 non-negative real-valued integrable function $K$이며 두 가지 성질을 만족한다.

---

Kernel Density Estimation (KDE)

KDE는 확률밀도추정을 위한 kernel smoothing에서 사용된다. 즉, kernel에 기반한 확률변수의 확률밀도함수를 추정하기 위한 비모수적 방법이다.

Definition

$(x_1, x_2, \ldots, x_n)$ 이 알려지지 않은 단변량 확률밀도함수 $f$의 iid인 표본이라고 하자.
함수 $f$의 모양을 추정하기 위한 kernel density estimator는 다음과 같다.

여기에서 $K$는 non-negative 함수인 커널이고, $h>0$ 는 bandwidth라고 불리는 smoothing parameter 이다.
커널은 scaled kernel이라 불리고 $K_h(x) = 1/h \times K(x/h)$로 정의된다.
직관적으로 보면 데이터에 따라 $h$를 최대한 작게 골라야 한다. 그러나 추정량(estimator)의 편향과 분산 사이의 trade-off가 항상 있다.

수학적 성질의 편리함 때문에 $K(x) = \phi (x)$인 normal kernel이 주로 사용된다. 여기에서 $\phi$는 표준정규분포의 밀도함수이다. `

---

Kernel Smoothing