[Theory of Statistics] Sufficiency (충분성)

Definition

$X\sim P_0 \in \mathcal{P}=\{P_\theta,\; \theta\in\Theta\}$

• $T(X):$ 통계량
• $X|T(X)$의 분포가 $\theta$에 의존하지 않으면, $\;\;i.e. [X|T(X)]_{\theta_1}=[X|T(X)]_{\theta_2},\; \forall \theta_1\neq\theta_2$이면
  $T(X)$를 $\theta$에 대한 ($\mathcal{P}$에 대한) 충분통계량이라 한다. $\Rightarrow T(X)$를 안 상태에서의 $X$는 $\theta$에 대한 정보를 갖고 있지 않다. $\Rightarrow$ 원래 $X$가 갖고 있던 정보는 $T(X)$가 갖고 있음.

Lemma.
$T(X):\theta$에 대한 SS.
$T(X)$의 1-1 함수 역시 $\theta$에 대한 SS.

---

Sufficiency Principle (충분성 원칙)

$T(X)$가 $\theta$의 SS이면, 관측치 $X$를 이용한 $\theta$에 대한 추론은 $T(X)$를 통해서만 $X$에 의존해야 한다.
$\quad i.e., x$와 $y$가 $T(x)=T(y)$를 만족하면 $x$를 이용한 $\theta$의 추론과 $y$를 이용한 $\theta$의 추론이 동일해야 한다.

---

Factorization Theorem (분해 정리)

$X\sim P_0,\;\theta\in\Theta.\;$ $T$가 $\theta\in\Theta$에 대한 SS일 필요충분조건은
$P_\theta(x)=g(T(x),\theta)\cdot h(x),\;\;\forall x\in\mathcal{X},\; \theta\in\Theta$
를 만족하는 음이 아닌 값을 갖는 함수 $g(t,\theta)$와 $h(x)$가 존재.

Proof.
$X$가 이산형이라고 가정하고 증명해보자.
김우철 수리통계학 참고

---

Sufficiency와 Decision Theory

Theorem.

$X\sim P_\theta, \; \theta \in \Theta,\; T(X)$ 는 $\theta$ 의 SS.
$\delta(X,\cdot)$ 가 랜덤화된 결정규칙이라면,
$R(\theta,\delta)=R(\theta,\delta^*),\; \forall\theta.\quad\quad i.e.$ 평가 입장에서 동일.
를 만족하는 SS $\;T$에만 의존하는 결정규칙 $\delta^*(T,da)$가 존재한다.

cf) $\theta$에 대한 추론을 할 때, SS만 고려하면 된다. Rao-blackwell theorem과는 다르다.


Proof.
$\begin{aligned} R(\theta,\delta)&=\mathbb{E}_\theta[L(\theta,\delta(X,\cdot)]\\ &=\int_\mathcal{X}\int_\mathcal{A}L(\theta,a)\delta(x,da)P_\theta(dx),\quad \mathcal{X}: \text{Sample space},\; \mathcal{A}: \text{Action space}\\ &=\int_\mathcal{T}\int_\mathcal{X}\int_\mathcal{A}L(\theta,a)\delta(x,da)P^{X|T}(dx)\cdot P_\theta^T(dt)\\ &=\int_\mathcal{T}\int_\mathcal{A}L(\theta,a)\int_\mathcal{X}\delta(x,da)P^{X|T}(dx)\cdot P_\theta^T(dt)\\ &=\int_\mathcal{T}\int_\mathcal{A}L(\theta,a)\cdot\delta^*(t,da)P_\theta^T(dt)\\ &=R(\theta,\delta^*)\\ \quad\quad\quad\quad \therefore \exist\;\delta^*(t,da). \end{aligned}$


Example.
$X_1,\ldots,X_n\stackrel{\text{iid}}{\sim}N(\theta,1)$

• $\bar{X}:\theta$에 대한 SS.
• Loss: $L(\theta,\delta)=(\theta-\delta)^2$
• 추정량: $\delta(X_1,\ldots,X_n)=X_1$
  SS의 함수이면서 $\delta$와 위험함수가 동일한 랜덤화된 결정규칙을 구하라.

---

Rao-Blackwell Theorem

Theorem.

$X\sim P_\theta \in \mathcal{P}=\{P_\theta, \theta \in \Theta\}$
$T=T(X):$ $\theta$의 SS.
$u=u(X):$ $\theta$의 추정량.

Then,
1. $\phi(T)=\mathbb{E}_\theta[u|T]$ 는 $\theta$에 의존하지 않는 추정량 ($T$가 SS가 아니면 추정량으로 사용 불가. 보통 조건부가 $\theta$에 의존하기에.)
2. $L(\theta,a)$가 $a$에 대한 convex function이면, $\mathbb{E}_\theta[L(\theta,u(X))]\geq\mathbb{E}_\theta[L(\theta,\phi(T))],\;\forall\theta.$
3. $\mathbb{E}_\theta[\{\eta(\theta)-u(X)\}^2]\geq \mathbb{E}_\theta[\{\eta(\theta)-\phi(T)\}^2],\; \forall\theta.$ (2.의 특별한 경우. loss가 MSE일 때.)

---

Minimal Sufficiency (최소충분성)

Def. Minimal Sufficiency

$X\sim P_\theta,\; \theta \in \Theta$
통계량 $T(X)$가 다음의 두 조건을 만족하면 $\theta$의 최소충분통계량(Minimal Sufficient Statistic)이라 한다.
a) $T$는 $\theta$의 SS.
b) $S(X)$가 $\theta$의 SS이면, $T(X)=g(S(X))$를 만족하는 함수 $g$가 존재.

Likelihood Ratio는 Minimal Sufficient Statistic.

$f(x;\theta),\; \theta \in \Theta;$ $\;\;X$의 밀도함수.
$x,y \in \mathcal{X}$에 대해,
$\frac{f(x;\theta)}{f(y;\theta)}=\theta$ 에 관해 상수 $\iff$ $T(x)=T(y)$ 를 만족하면, $T(X)$는 $\theta$의 MSS.
$\quad i.e.$ Likelihood ratio가 같으면 하나의 $T$값을 갖는다. $x$와 $y$는 동일한 likelihood function을 갖는다.

Proof.
$f(x;\theta)>0, \;\; \forall x,\theta$ 를 가정하자.
a) $T$가 $\theta$의 SS임을 보이자.
$\quad$- $\mathcal{Y}=$ $T$의 공변역 ($T$값들의 모임)
$\quad$- $A_t:= \{x\in\mathcal{X}:T(x)=t\},\; t \in \mathcal{Y}.$
$\quad$- $x_t:A_t$ 의 대표값.
$\quad$- $x_{T(x)}:x$ 가 포함된 $A_t$의 대표값.
$\quad$가정에 의해, $\frac{f(x;\theta)}{f(x_{T(x)};\theta)}:\theta$ 에 의존하지 X.

$\quad$$f(x;\theta)=\frac{f(x;\theta)}{f(x_{T(x)};\theta)}\cdot f(x_{T(x)};\theta)$

따라서, Factorization theorem에 의해 $T$는 $\theta$의 SS.

b) $S(x):\theta$의 SS라 하자.
$\quad$$S(x)=S(y)\;\Rightarrow\; T(x)=T(y)$를 보이고자.
$\quad$By factorization theorem,
$\quad$$f(x;\theta)=g(s(x);\theta)\cdot h(x)$ 를 만족하는 양의 값을 갖는 $g,h$ 존재.
$\quad$$S(x)=S(y)$인 $x,y$ 에 대해

$\quad$$\frac{f(x;\theta)}{f(y;\theta)}=\frac{g(s(x);\theta)\cdot h(x)}{g(s(y);\theta)\cdot h(y)}=\frac{h(x)}{h(y)};\quad \theta$에 의존 X.

가정에 의해, $T(x)=T(y).$

Likelihood Principle (가능도 원칙)

Likelihood Principle을 믿으면 likelihood가 같을 때 모든 추정량이 같음. 여기서, Likelihood가 같다는 의미는 상수배만 같아도 됨. $\theta$ 에 의존하지만 않으면 됨.

1. $\frac{f(x;\theta)}{f(y;\theta)}=h(x,y)$ 이라면 $x$와 $y$는 같은 likelihood function을 갖는다.
2. 동일한 likelihood function을 갖는 $x$들의 $T$값이 하나의 값을 가질 때 $T$는 MSS.

Example. 정규모형
$X_1,\ldots,X_n \sim N(\theta,\sigma^2), \;\theta\in\R,\; \sigma^2>0.$
$\begin{cases} \mathbf{x} = (x_1, \ldots, x_n) \\ \mathbf{y} = (y_1, \ldots, y_n) \end{cases}$ $\quad(\theta,\sigma^2)$의 MSS?

Sol)
$\frac{f(\mathbf{x};\theta,\sigma^2)}{f(\mathbf{y};\theta,\sigma^2)}=\frac{\frac{1}{\sigma^n(2\pi)^{n/2}}{exp[-\frac{1}{2\sigma^2}\{\Sigma(x_i-\bar{x})^2+n(\bar{x}-\theta)^2\}]}}{\frac{1}{\sigma^n(2\pi)^{n/2}}{exp[-\frac{1}{2\sigma^2}\{\Sigma(y_i-\bar{y})^2+n(\bar{y}-\theta)^2\}]}}:(\theta,\sigma^2)$ 가 상수. $\\ \quad\quad\quad \iff \bar{x}=\bar{y},\; \Sigma(x_i-\bar{x})^2=\Sigma(y_i-\bar{y})^2.$
따라서, $(\bar{X},\; \Sigma(X_i-\bar{X})^2);\;\;(\theta,\sigma^2)$ 의 MSS.