인수분해 정리

$X_1, ..., X_n$의 결합 확률 함수가 $f(x_1, ..., x_n;\theta)$일 때,
$S(X) = (S_1(X), ..., S_k(X))$를 $k$개의 통계량이라고 하자.

$S$가 결합충분통계량 $\Leftrightarrow$ $f(x_1, ..., x_n ; \theta) = g(s(x); \theta)h(x_1, ..., x_n|s) = g(s;\theta)h(x_1, ..., x_n)$

증명 (이산형)
$S(X)$의 확률함수를 $f_S(s)$라고 하자.

$(\Rightarrow)$ $S$가 결합충분통계량이면 $f(x_1, ..., x_n;\theta) = f_S(s;\theta)f_{X|S}(x_1, ..., x_n | s)$이다. 이 때 충분통계량의 정의에 따라 $f_{X|S}(x_1, ..., x_n|s)$는 모수 $\theta$에 의존하지 않는다. 따라서 $f_S$를 $g$, $f_{X|S}$를 $h$에 대응하면 $f(x_1, ..., x_n;\theta) = g(s;\theta)h(x_1, ..., x_n)$이다.

$(\Leftarrow)$ $f_S(s; \theta) = P(S= s; \theta)$이다. $S$는 $X_1, ..., X_n$에 대한 함수이므로 $P(S=s;\theta) = \sum_{x \in \{X | S(X) = s\}} f(x_1, ..., x_n;\theta)$가 성립한다. 따라서 $\sum_{x \in \{X | S(X) = s\}} f(x_1, ..., x_n;\theta) = \sum_{x \in \{X | S(X) = s\}} g(s;\theta)h(x_1, ..., x_n) = g(s;\theta)$이고, $c(x) = \sum_{x \in \{X | S(X) = s\}} h(x_1, ..., x_n)$라고 하면 $f_S(s;\theta) = g(s;\theta)c(x)$가 된다.

따라서 $f(x_1, ..., x_n|s) = \frac{f(x_1, ..., x_n;\theta)}{f_S(s;\theta)} = \frac{h(x_1, ..., x_n)}{c(x)}$이고 $c(x)$는 $\theta$에 의존하지 않으므로 $S$는 결합충분통계량이다.

증명 (연속형)
$(\Rightarrow)$ $X|T_1$가 $\theta$에 의존하지 않는다고 하자.
$T_i = w_i(X)$를 만족하는 일대일대응 함수 $h_i$를 설정하자. 그렇다면 $X_i = h_i^{-1}(T)$를 만족하는 $h_i^{-1}$도 찾을 수 있다.

이 때 $T$의 확률함수 $f_T(T|\theta) = f_X (X | \theta) |J|$를 만족한다. $J$는 변환의 자코비안이다.

$T_1$의 주변 확률 함수는 다음과 같이 구할 수 있다.

따라서 $T_1$의 확률함수 $f_{T_1}$은 $\theta$와 $T$에 의존하는 함수이다.

$f_X(X|\theta) = f(X, T_1 | \theta) = f_{X|T_1}(X|T_1, \theta)f_{T_1}(T_1|\theta)$인데 $f(X|T_1, \theta)$는 $T_1$이 결합통계량이므로 $\theta$에 의존하지 않는 함수이고, $f(T_1|\theta)$는 $T_1$과 $\theta$에 의존하므로 $f_{T_1}$을 $g$, $f_{X|T_1}$을 $h$에 대응하면 증명이 완료된다.

$(\Leftarrow)$ $f(x|\theta) = g(T_1|\theta)h(X)$를 만족한다고 가정하자.

따라서 $f(X|T_1, \theta)$는 $\theta$에 의존하지 않는 함수이므로 $T_1$은 충분통계량이다.