19강 - 결합, 조건부, 주변 확률질량함수

MostlyFor·2023년 1월 9일

목록 보기

18/20

해당 내용은 아래 강좌를 정리한 내용입니다.
https://www.edwith.org/ai152

학습목표

결합 분포를 통하여 주변 분포 및 조건부 분포를 구할 수 있으며, 독립 여부를 확인할 수 있다. 또한, 2차원 LOTUS를 이해할 수 있다.

핵심 키워드

Joint, conditional, marginal distribution

joint CDF F(x,y)

F(x,y)=P(X \leq x,Y\leq y)

PDF와 사건집합에 해당하는 확률

f(x,y) =\frac{\partial F(x,y)}{\partial x \partial y} \\ P(X,Y \in S)=\int\int_S f(x,y)dxdy

marginal PDF of X: 결합분포를 이용하여 주변분포를 구하는 법

f(x)=\int_\infin^\infin f(x,y)dy

conditional PDF of Y|X is (조건부 PDF)

f_{Y|X}(y|x)=\frac{f_{X,Y}(x,y)}{f_X(x)}=\frac{f_{X|Y}(x|y)f_Y(y)}{f_X(x)}

x가 주어졌을 때 y의 확률밀도 = x를 전체로 하고 x,y가 동시에 일어날 확률밀도

2D LOTUS

Let, we~have~joint~distribution~ f(x,y), g(x,y)~is~a~function\\ then ~E(g(x,y))=\int\int g(x,y)f(x,y)dxdy

중요한 정리! - 두 변수의 기댓값

IF X,Y are indep, then E(XY) = E(X)E(Y)

(독립은 무상관을 포함하는 개념이라 여기서 두 변수는 무상관이다.)

proof

E(XY)=\int\int xyf_{X,Y}(x,y)dxdy\\ =\int\int xyf_X(x)f_Y(y)dxdy(\because indep)\\ =\int yf_Y(y)(\int xf_X(x)dx) dy\\ =E(X) \int yf_Y(y)dy~(\because E(X)~is~constant)\\=E(X)E(Y)

2D LOTUS 예제
X,Y ~ i.i.d Unif(0,1) 일 때 find E|X-Y|

X,Y가 0~1 수직선 상의 한 점일 때 두 거리의 차이의 평균값.

E(|X-Y|)=\int\int |x-y|f_{X,Y}(x,y)dxdy\\ =\int\int |x-y|f(x)f(y)dxdy\\ =\int\int|x-y|dxdy\\ =2\int\int_{x>y} x-y ~dxdy\\ =2\int_0^1\int_y^1x-y~ dxdy=1/3

N \sim Pois(\lambda)~eggs, each~hatches~Bern(p)~,indep.~Let ~X=\# ~hatch,Y=\#don't~hatch\\ So ~X|N \sim Bin(N,p) ~and ~X+Y=N\\ Find~joint~PMF~of~X,Y

이 문제는 상당히 난이도가 있는 문제였는데, 여기서 쉬운 문제로 만들기 위해 N을 알고 있다면 이라고 가정하는 것임. 전체확률의 법칙은 만능이다..

P(X=i,Y=j)=P(X=i,Y=j,N=1)+P(X=i,Y=j,N=2)+..\\=\sum_{n=0}^\infin P(X=i,Y=j,N=n)\\ =\sum_{n=0}^\infin P(X=i,Y=j|N=n)P(N=n)\\ =\sum_{n=0}^\infin \binom{n}{i}p^ip^{n-i}P(N=n)\\

여기서 n-i 가 j가 아닐 경우 확률은 0임

P(X=i,Y=j)=\binom{i+j}{i}p^iq^jP(N=i+j)\\ =\frac{(i+j)!}{i!j!}p^iq^j\frac{e^{-\lambda }\lambda^{i+j}}{(i+j)!}=e^{-\lambda p}p^i\lambda^i ~e^{-\lambda q}q^j\lambda^j/(i!j!)\\=P(X=i)P(Y=j)

이 결과 X와 Y는 모두 포아송 분포를 따름.

따라서 X,Y가 독립임. 이건 N이 포아송 분포를 따를 때에만 성립함. 근데 여기서 포아송 분포를 안따르고 저 식을 만들 수는 없나? 독립이라고 단언할 수 있나?

→ 그렇다. 기본적으로 결합확률 분포를 알면 주변확률분포를 알 수 있음

확률론