이중기댓값 정리 & 총분산 정리

김석범·2025년 6월 4일

Tools

목록 보기

3/3

충분통계량에 대한 이야기를 하기 전에, 기초적인 통계적 정리들에 대해 알아보고 넘어가자.

우선, 조건부 확률은 다음과 같이 정의된다.

P(y|x) = \frac{P_{X,Y}(x,y)}{P_X(x)}

그리고 결합 분포가 주어졌을때, X의 marginal 분포는 다음과 같이 정의된다.

P_{Y}(y) = \int_{x\in X} P_{X,Y}(x,y) dx

(x는 연속 변수일때라고 가정, 이산 변수일때는 $\sum$ 연산으로 수행)

두 확률변수 X, Y에 대해서, $E[E[Y|X]] = E[Y]$ 가 성립한다.

증명

\begin{aligned} E[E[Y|X]] &= \int_{x\in X} f_{X}(x)E[Y|X] \;dx \\ &= \int_{x\in X}\int_{y\in Y}yf_{Y|X}(y|x) f_{X}(x) \;dxdy\\ &= \int_{y\in Y}y\int_{x\in X}f_{X,Y}(x,y)dxdy \\ &=\int_{y\in Y}yf_Y(x)dy \\ &=E[Y] \end{aligned}

두 확률변수 X, Y에 대해서, $Var(Y) = E[Var(Y|X)] + Var(E[Y|X])$ 가 성립한다.

증명

\begin{aligned} E[\operatorname{Var}(Y\mid X)] &=E\!\Bigl[E(Y^{2}\mid X)-(E[Y\mid X])^{2}\Bigr] \\[2pt] &=E(Y^{2})-E\!\bigl[(E[Y\mid X])^{2}\bigr], \\[6pt] \operatorname{Var}(E[Y\mid X]) &=E\!\bigl[(E[Y\mid X])^{2}\bigr]-(E[Y])^{2}. \end{aligned}

\begin{aligned} E[\operatorname{Var}(Y\mid X)] + \operatorname{Var}(E[Y\mid X]) &=\bigl(E(Y^{2})-E[(E[Y\mid X])^{2}]\bigr) +\bigl(E[(E[Y\mid X])^{2}]-(E[Y])^{2}\bigr) \\[2pt] &=E(Y^{2})-(E[Y])^{2} \\[2pt] &=\operatorname{Var}(Y). \end{aligned}

이는

전체 분산 = 그룹내 분산에 대한 평균 + 그룹간 평균에 대한 분산 = 그룹내 설명할 수 없는 변동성 + 그룹간 설명될 수 있는 변동성

갑자기 든 생각인데, 이 정리를 마코프 가정과 SDE 관점으로의 확장을 하면,

Var(Y_t) = E[Var(Y_t|Y_s)] + Var(E[Y_t|Y_s])

로 다시 표현할 수 있다.

이는

$t$ 시점의 전체 변동성 $Var(Y_t)$ 는

(1) 서로 다른 초기 상태 $Y_s$ 가 만들어 내는 평균 궤적 차이 $Var(E[Y_t|Y_s])$ 와

(2) $Y_s$ 를 고정해도 $s \rightarrow t$ 구간에서 새로 유입되는 무작위성 $E[Var(Y_t|Y_s)]$ 로 분해된다.

위와 같은 확장이 가능할거라 생각한다.

ML/DL 잘은 모르겠지만 ,,,