수리통계 4강 - 연속한 확률변수 ~ 특수한 기댓값

1.6 Discrete Random Variables

$X$: 셀수 있고 유한한 표본 공간 내의 확률변수
discrete r.v. if ists space is either finite or countable

Def 1.6.2

$P_x(X) = P(X=x), x \in S$

Support of discrete r.v X

지지영역(Support): $S_x =${$X:P_x(x) >0$}
ex) 주사위 한개를 던질때 나오는 윗면의 확률변수 X에 대한 지지영역은 아래와 같다.
-> $S_x =$ {$1,2,, \cdot\cdot\cdot, 6$}

EX 1.6.1

앞면과 뒷면이 나올 확률이 같은 동전을 던질 때,

$X$: 몇번을 던져야 첫번째 앞면이 나올 것인가?(# of flips need to obtain the 1st Head)

--> $(x-1)$번째까지 계속 뒷면이 나오다가, $x$번째에 앞면이 나올 확률
--> $P(T)^{x-1}P(H)$ = $\ \ \ {1\over2}^{(x-1)}$$1 \over 2$ = $\ \ \ 2^{-x}$
$S_x$ = {1,2,3, ...}

EX 1.6.2

100개의 공 중 20개는 흰공, 80개는 검은 공. 5개뽑아서 나올 흰공의 개수가 $X$
그럼 총 100개 중 5개를 뽑았는데, 이 중 20개에서 $x$개가 나오고, 나머지 80개에서 $(5-x)$개가 나올 확률을 구하면 됨

$P(X=x)$ = ${20 \choose x}*{80 \choose (5-x)}\over {100 \choose 5}$

*위 예제들에서 x=0인 경우에 확률은 0이 되는데, 이를 표현해주기 위해 아래와 같이 지시함수 $I$를 이용한다.
$P(X = x) = 2^{-x} I_A(x),$ $A=$ {$1,2,3,\cdot\cdot\cdot$}

Interested in the distribution of

$Y = g(X)$ When the pmf of X is known(변수를 변환했는데, 변환된 변수의 pmf가 무엇인가)
*$g$:1-1(일대일)
$P_Y(y)$: $y$에서 계산된 확률변수 $Y$의 $pmf$
$P_Y(y) = P(Y=y) = P(g(X) = y) = P(X = g^{-1}(y)) = P_x(g^{-1}(y))$

EX. 1.6.3

$P_X(X) = 2^{-x}, x = 1,2,3, ...$ pmf of $Y = X-1$
$g(x) = x-1\ \to\ g^{-1}(y) = y+1$
$P_Y(y) = P_x(Y+1) = 2^{(-y+1)}$ $I(y=0,1,2,3, \cdot\cdot\cdot)$

1.7 Continuous Random Variables

DEF 1.7.1

$X: r.v$ is continuous iff $F_X(X):$ continuous, $\forall x \in R$

Assume that there exist $f(x)$ s.t.
$F_X(x)= \int_{-\infin}^xf(t)dt$ then $f(x)$ is calleed probability density function($pdf$)
cdf를 미분하면 pdf가 된다.

i.e.$f_X(x) = {d \over dx} F_X(x)$
Note that
(1) $P(X=x) = F_X(x) - F_X(x-) = 0$ -- > 연속확률함수의 한 점에서의 확률은 0이다.

(2) $P(a< X \le b) = F_X(b) - F_X(a) \\ = \int_{-\infin}^b f(x)dx - \int_{-\infin}^a f(x)dx\\ = \int_a^b f_X(x)dx$

(3) Also, $P(a<X \le b) = P(a \le X \le b) = P(a<X>b)$

연속확률함수 pdf의 성질

(1) $f_X(x) \ge 0$: non-negativity
--> F_X(x)가 감소하지 않으며 모든 점에서 연속이므로 $f_X(x) = {d \over dx} F_X(x)\ \ge 0$

(2) $\int_{-\infin}^{\infin}f(x)dx = 1$: Normarlity

EX 1.7.1

$X:$ 원점에서 임의로 선택한 점(반지름 길이가 1인 원 내부의)까지의 거리 확률변수 X

그럼 위와 같이, X의 확률은 파란 원의 넓이가 되고, 전체 표본공간의 확률합은 검은 원의 넓이가 되므로 수식으로 나타내면 아래와 같다.
$F_X(x) = P(X \le x) = {{\pi*x^2} \over{\pi*1^2}}$ =$\begin{cases}x^2,\ 0<x<1 \\1,\ x>1 \\ 0, \ x<0\end{cases}$

$f_X(x) = 2xI(0<x<1)$

How to compute the pdf of $Y = g(X)$, where g is differentiable and the pmf X is known?

1) cdf -> pdf(미분을 통해 누적확률밀도함수를 확률밀도함수로 변환)
2) 변환기법(Jacobian 변환)을 통한 변환

EX 1.7.2(cdf -> pdf)

$F_X(X) = 2xI(0<x<1)$, find the pdf of $Y=x^2$

$F_Y(y)\\= P(Y \le y)\\=P(x^2 \le y)\\=\begin{cases}0,\ y<0 \\P(-\sqrt y \le X \le \sqrt y),\ 0<y<1 \\ 1, \ y>1\end{cases}\\ =\begin{cases}0,\ y<0 \\P(0 \le X \le \sqrt y),\ 0<y<1 \\ 1, \ y>1\end{cases}$

==> $P(0 \le X \le \sqrt y)\\ =F_X(\sqrt y) - F_X(0) = y-0$
$\therefore f_Y(y)={d\over dy}F_Y(y)=1*I(0<y<1)$

EX.1.7.3

$f_X(x) =$ ${1 \over 2}I(-1<x<0)$, pdf of $Y =X^2?$
$dF_Y(y) = f_(Y \le y)\begin{cases}0,\ y<0 \\P(-\sqrt y \le X \le \sqrt y),\ 0<y<1 \\ 1, \ y>1\end{cases}$

$P(-\sqrt y \le X \le \sqrt y) = \int_{-\sqrt y}^{\sqrt y} {1 \over 2}dx=\sqrt y (0<y<1)$
--> $f_Y(y) = {1\over 2\sqrt y} I(0<y<1)$

Thm 1.7.1

$X$: continuous random variablie with pdf $f_X(x)$ $support\ S_x$
$Y = g(X), g:1-1$, differentiable
==> pdf of $Y$ is

아래와 같이 x자리에 역함수를 넣어주고, x를 y로 변환하는 $dx/dy$ 야코비안 행렬을 곱해준다.

$f_Y(y) = f_x(g^{-1}(y))\begin{vmatrix} dx \\ dy \end{vmatrix}$
$\begin{vmatrix} dx \\ dy \end{vmatrix}$ -> one dimensional Jacobian matrix

(pf)
$Y = g(X)$라고 할때(increasing case),
$F_Y(y) = P(Y\le y) = P(g(X) \le y) = (양변 g\ inverse)P(X \le g^{-1}(y)) = F_X(g^{-1}(y))$

EX 1.7.4

$f_X(x) = I(0<x<1) -> pdf\ of\ Y = -2logX$
sol> $X = g^{-1}(y) = e^{-y/2},\ \ {dx \over dy} = -{1\over 2}e^{-y/2}$
$f_Y(y) = f_X(g^{-1}(y))\begin{vmatrix} dx\over dy \end{vmatrix} = 1*\begin{vmatrix} {1\over 2} e^{-y/2} \end{vmatrix}$

EX 1.7.5(mixture distribution = 이산 + 연속형 확률분포 = 혼합분포)

$F(x) = \begin{cases}0,\ x<0 \\{1\over2}(x+1),\ 0\le x<1 \\ 1, \ x\ge 1\end{cases}$
$P(-3<x\le {1\over2})$ = $Fx({1 \over 2}) - F_X(-3) = {3 \over 4}$

1.8 Expectation of r.v.'s

Def 1.8.1

$E(X) = \begin{cases}\int_{-\infin}^{\infin} xf(x)dx,\ if \int_{-\infin}^{\infin}\left| x \right| f(x)dx < \infin (continuous) \\ \sum_{x=-\infin}^{\infin}xP_x(x),\ \sum_{x=-\infin}^{\infin} \left| x \right| P_x(x) < \infin(discrete)\end{cases}$

Thm 1.8.2 (linearity property of expectation)

$E[k_1g_1(X) + k_2g_2(X)] = k_1E(g_1(X)] + k_2E[g_2(X)]$

Def 1.9.1

$\mu := E(X): Population\ mean$

Def 1.9.2

$\sigma^2 := E[{X-E(X)}^2]: Variance$

*평균의 기하학적 개념: 양쪽의 equilibrium(균형을 이루는, 즉 무게중심)

분산 = 제곱의 평균 - 평균의 제곱 유도

$\sigma^2 \\ = E{(X-\mu)^2} = \int(x-\mu)^2f(x)dx\\ = \int x^2f(x)dx -2\mu\int xf(x)dx+ \mu^2\int f(x)dx\\ = E(X^2) -2\mu^2 + \mu^2\\ =E(X^2)-{E(X)}^2$

적률

$E(X^k)$: $k$-th moment(k차 적률)
--> $\mu$: 1st moment
--> $\sigma^2$: 2nd moment