히스토그램을 이용한 비모수적 추정

확률변수 $X$가 어떤 분포를 따르는지도 모를 때, 분포의 모수에 의존하지 않는 비모수 추정을 통해 확률 함수를 탐색할 수 있다.

PMF 추정

서포트가 유한할 때

$X$가 확률 함수 $p(x)$를 가지는 이산 확률 변수라고 하자. $X_1, X_2, ..., X_n$은 $X$의 랜덤 표본이고, $R_X = \{a_1, a_2, ..., a_m\}$는 유한하다.

이런 상황에서 $p(a_j) = P(X = a_j)$의 직관적인 추정은 표본 크기 대비 각 원소의 빈도로 생각해볼 수 있다. 표본에서 각 $a_j$의 빈도를 알아내고, 비율을 알아내기 위해 다음과 같이 추정량을 정의하자.

$\hat{p}(a_j)$는 표본에서 $a_j$의 출현 비율을 의미하며, $\{\hat{p}(a_1), \hat{p}(a_2), ..., \hat{p}(a_m)\}$은 $p(a_j) = P(X=a_j)$의 확률 함수 전체를 추정하는 역할을 한다.

$I_j(X_i)$는 성공 확률이 $\hat{p}(a_j)$인 베르누이 시행을 따르는 확률 변수로 생각할 수 있다. 서포트가 $\{0, 1\}$이며, 1이 나올 확률은 $\hat{p}(a_j)$과 동일하기 때문이다.
이 성질을 이용하면 $\frac{1}{n}\sum_{i=1}^n I_j(X_i)$는 $p(a_j)$의 불편추정량임을 확인할 수 있다.

서포트가 무한할 때

이산 확률 변수 $X$의 서포트가 $\{a_1, a_2, ...\}$로 원소가 유한하지 않은 상황에서는 다음과 같이 확률 함수를 추정할 수 있다.

$X$의 서포트를 다음과 같이 묶어보자.
$\{a_1\}, \{a_2\}, ..., \{a_m\}, \tilde{a_{m+1}} = \{a_{m+1}, a_{m+2}, ...\}$
$a_1$ ~ $a_m$는 서포트의 원소 그대로지만, $\tilde{a_{m+1}}$은 $a_{m+1}$ 이상의 모든 값을 묶은 집합이 된다.
이렇게 나머지를 하나의 원소로 묶으면 서포트가 유한한 것처럼 다룰 수 있게 된다.

따라서 $\{\hat{p}(a_1), \hat{p}(a_1), ..., \hat{p}(\tilde{a_{m+1}})\}$을 확률 함수의 추정량으로 사용할 수 있다.
보통은 $\hat{p}(\tilde{a_{m+1}})$가 $\hat{p}(a_m)$의 2배 정도가 되도록 $m$을 정한다.

PDF 추정

확률 변수 $X$가 연속인 경우에는 확률 변수가 가질 수 있는 값이 이산적이지 않기 때문에, 히스토그램을 이용한 추정을 바로 적용할 수 없다. 따라서 구간을 임의적으로 나누고 각 구간에 대한 추정량을 찾아야 히스토그램 추정을 적용할 수 있다.

$X$의 확률 함수를 $f(t)$라고 하자.

확률 밀도 함수와 구간의 확률의 관계에 따라 위 항등식이 성립한다.

$\int_{x-h}^{x+h} f(t)dt$는 CDF와 PDF의 관계에 따라 $F(x+h) - F(x-h)$와 동일하다.
따라서 $\frac{F(x+h) - F(x-h)}{2h}$는 두 점의 기울기로 해석할 수 있다.
이 때, 평균값정리에 의하여 다음이 성립한다.

따라서 $P(x-h < X < x+h) = f(\epsilon) \cdot 2h \approx f(x) \cdot 2h$라는 결론이 나온다.

표본의 관점에서 생각해 볼 때, $P(x-h < X < x+h)$는 x-h와 x+h 사이에 표본의 실현 값이 속할 확률이다. 따라서 이산형 확률 변수의 케이스에서와 비슷하게 베르누이 시행을 정의할 수 있다.

여기서 한 구간의 너비($2h$)를 bandwidth, $I_i(x)$ 함수를 rectangular kernel이라고 한다.

이제 $f(x)$의 추정량 $\hat{f}(x)$를 다음과 같이 정의하면, 점근적인 불편추정량을 얻을 수 있다.

f(x) 전체의 추정

위에서는 단일한 $x$에서의 $f(x)$의 추정량을 알아보았다. 이를 확장하여 확률함수의 서포트를 구간으로 나누고, 각 구간의 대푯값을 이용해 위 추정법을 적용하면 $f(x)$ 전체의 추정을 할 수 있다.

m : 나눌 구간의 개수
h : 각 구간 너비의 절반
a : 시작점 ; $a < min(x_i)$

위와 같이 겹치지 않도록 구간을 나누어 준다. 이 때 m은 전체 구간이 $max(x_i)$를 포함할 수 있도록 충분히 큰 수로 지정해야 한다.

임의의 x에 대해, $f(x)$의 전체 추정은 다음 순서로 이루어 진다.

1. x가 어떤 $A_j$에 속하는 지 확인한다.
2. 위에서 다루었던 추정법을 이용해 $f(x)$의 추정량을 $\frac{(표본에서 \ A_j에 \ 속하는 \ 개수)}{2hn}$으로 정한다.