수리통계 6강 - 주요 부등식 ~ 두 확률변수의 분포

1.10 주요 부등식

Thm 1.10.1

$k \le m, \ \ \\E\left| x \right|^m < \infin \to E\left| x \right|^k < \infin$

Thm 1.10.2 마르코프 부등식

$\mu(X)$: 음수가 아닌 확률변수 X의 함수
$E[\mu(x)] < \infin$
=> $\forall c>0,\ P(\mu(x) \ge c) \le {E[\mu(x)]\over c}$

(pf)
$E[\mu(x)] = \int _{-\infin}^{\infin}\mu(x)f(x)dx = \int_A \mu(x)f(x)dx +\int_{A^c} \mu(x)f(x)dx$

(A={x, $\mu(x) \ge c$})

$\ge\int_Acf(x)dx + \int_{A^c}\mu(x)f(x)dx$

$\ge c$ $\int_Af(x)dx$ -> $P(x\in A) = cP(\mu(x) \ge c)$

위 마르코프 부등식은, 확률번수의 함수가 어떤 양수 이상일 확률에 대한 상한값을 보여주는 부등식이다.

따라서 아래와 같은 예제도 성립한다.

ex) 어떤 은행이 고객이 도착한 후 평균 10분만 기다린다고 홍보하고 있을 대, 이 은행의 어떤 고객이 1시간 이상 기다릴 확률을 구하여라

$E(X) = 10$
$P(X\ge 60) \le {10\over 60}=0.167$

==> 고객이 1시간 이상 기다릴 확률은 16.7%를 넘지 않는다.

Thm 1.10.3 체비셰프 부등식

$P[\left| x-\mu \right| \ge k\sigma] \le {1\over k^2}, \forall k>0$

증명은 마르코프와 유사하다. 아래와 같이 증명이 가능하다. (마르코프 부등식의 특수한 형태이기 때문)

(출처: https://datalabbit.tistory.com/26)

Def. 1.10.1 볼록함수(아래로 볼록 = convex function)

$\phi:$ func on (a,b), $-\infin \le a < b \le infin$
=> $\phi$: convex if $\forall x,y\ in\ (a,b),\ 0<r<1$

$\phi[rx + (1-r)y] \le r\phi(x) + (1-r)\phi(y)$

*$\gamma x + (1-\gamma)y$: convex combination -> 볼록 결합으로 x와 y 사이의 값을 갖도록 만듦.

위와 반대된 경우를 concave라고 한다.(오목함수)

Thm 1.10.4 convex 함수의 성질

(a) $\phi$: convex <=> $\phi'(x) \le \phi'(y),\ (\forall a<x<y<b)$

(b) $\phi$: strictly convex <=> $\phi'(x) < \phi'(y),\ (\forall a<x<y<b)$

(c) $\phi$: convex <=> $\phi''(x) > 0,\ (a<x<b)$

Thm 1.10.5 Jensen's 부등식(convex function의 성질을 이용)

$\phi$: convex on open interval $U$
$X$: r.v. with support $S_x$ \in $U$

E(X) < $\infin$,
=> $\phi[E(X)] \le E[\phi(X)]$

(pf)

by the Taylor expansion of $\phi(Xx)$ about x=$\mu$ up to the linear term + remainder term

$\phi(x) = \phi(\mu) + \phi'(\mu)(x-\mu) + {1\over2}\phi''(\xi)(x-\mu)^2$

그런데 위 식에서 ${1\over2}\phi''(\xi)(x-\mu)^2$은 항상 0보다 크므로(convex function의 3번째 성질: 2계도 함수는 항상 양수) 아래와 같은 식이 성립한다.

$\phi(x) \ge \phi(\mu) + \phi'(\mu)(X-\mu)$

=> $E[\phi(x)] \ge \phi[E(x)]$

CH2. 다변량분포

2.1 이변량 분포

Def2.1.1.

$X_1, X_2$두개의 확률 변수가 동시에 존재한다.

$X_1(c) = x_1$
$X_2(c) = x_2$

$X = \begin{pmatrix} x_1 \\ x_2 \end{pmatrix}^T$

* cdf of X = $(X_1, X_2)^T$

$F_{X_1, X_2}(X_1,X_2) = P(X_1 \le x_1, X_2 \le x_2)$

* join pmf of X(discrete)

$P_{x_1,x_3}(x_1,x_2) = P(X_1 = x_1, X_2=x_2)$

* joint pdf of X
결합확률분포는 결합누적분포를 2번 미분(x1, x2에 대하여)해준 것과 같다.

$F_{X_1,X_2}(x_1,x_2) = \int_{-\infin}^{x_2}\int_{-\infin}^{x_1}f_{x_1,x_2}(w_1,w_2)dw_1dw_2$

--> ${\partial^2F_{x_1,x_2}(x_1,x_2) \over \partial x_1\partial x_2} = f_{x_1,x_2}(x_1,x_2)$

* marginal cdf
아래와 같이 한 변수의 누적분포함수에 대해 극한값을 취해주면 나머지 변수의 marginal cdf가 나온다.

$F_{X_1}(x_1)=\lim_{x_2 \to \infin} F_{x_1,x_2}(x_1,x_2)$ -> marginal cdf of $X_1$

pdf의 경우에도 마찬가지이다.

$P_{X_1}(x_1)=\sum_{x_2 = -\infin}^\infin P_{x_1,x_2}(x_1,x_2)$: marginal pmf of $X_1$

ex.2.1.1

$f(x_1,x_2) = (x_1+x_2)*I(0<x_2<1, 0<x_2<1):jpdf$

(1) $P(X_1 \le {1\over2})$

= $\int_0^{1\over2}f_{x_1}(x_1)dx_2$
(이렇게 다른 변수의 적분으로 계산하여도 되고, 모든 범위에 걸친 결합확률분포 적분값으로 보아도 된다.

(2) $P(X_1 +X_2 \le 1)$

= $\int_0^1\int_0^{1-x_2}(x_1+x_2)dx_1dx_2$
=$1\over3$

$E[g(X_1,X_2)]$ = $\begin{cases} \sum_{x_1}\sum_{x_2}g(x_1,x_2)P_{x_1,x_2}(x_1,x_2), \\ \int\int g(x_1,x_2)f{x_1,x_2}(x_1,x_2)dx_1dx_2, \end{cases}$

Thm 2.1.1

$E[k_1g_1(X_1,X_2) + k_2g_2(X_1,X_2)] = k_1E[g_1(X_1,X_2)] + k_2E[g_2(X_1,X_2)]$

Def 2변수 확률분포함수의 mgf

$X = (x_1,x_2)^T$

$M_x(t) := M_{x_1,x_2}(t_1,t_2)$ <- $t=(t_1,t_2)^T$
= $E[e^{t_1x_1+t_2x_2}] = E[e^{t^Tx}]$

$M_{x_1,x_2}(t_1,0) =?$

$M_{x_1,x_2}(t_1,t_2) =\int\int e^{t_1x_1+t_2x_2}f(x_1,x_2)dx_1dx_2$
$M_{x_1,x_2}(t_1,0) =\int\int e^{t_1x_1}f(x_1,x_2)dx_1dx_2$

=$e^{tx_1}(\int f(x_1,x_2)dx_2)dx_1$

=> $\int e^{t_1x_1}f_{x_1}(x_1)dx_1$
=> $E[e^{t_1x_1}] = mgf\ of\ X_1$

ex.2.1.3

$f(x,y) = e^{-y}I(0<x<y<\infin)$
$M_{X,Y}(t_1,t_2)=\int_0^\infin \int_x^\infin e^{t_1x + t_2y} e^{-y}dydx$
=${1 \over(1-t_1-t_2)(1-t_2)}$
$M_{X,Y}(t_1,0)$ = $(1-t_1)^{-1}$ =mgf of $X$
$M_{X,Y}(0,t_2)$ = $(1-t_2)^{-1}$ =mgf of $Y$