Expectation, Variance basic

d4r6j·2023년 11월 21일
Statistics
0

statistics

목록 보기
2/2

0. Reference

1. Expectation

  • Random Variable XX 의 기댓값 또는 평균 E[X]\mathbb{E}[X]

    E[X]=∫∞∞xpX(x)dx\mathbb{E}[X] = \int^{\infin}_{\infin}xp_X(x)dx

  • Random Variable XX 의 함수 g(X)g(X) 의 기대값

    E[g(x)]=∫−∞∞g(x)pX(x)dx\mathbb{E}[g(x)] = \int^{\infin}_{-\infin}g(x)p_{X}(x)dx

  • Random Variable XX 가 다른 Random Variable YY 와 결합 분포를 갖는다면

    • Random Variable XX 의 함수 g(X)g(X) 의 기댓값
      E[g(X)]=∫−∞∞∫−∞∞g(x)pXY(x,y)dxdy=∫−∞∞g(x)pX(x)dx\begin{aligned} \mathbb{E}[g(X)] &= \int^{\infin}_{-\infin} \int^{\infin}_{-\infin} g(x)p_{XY}(x, y)dxdy \\ \\ &= \int^{\infin}_{-\infin}g(x)p_{X}(x)dx \end{aligned}
    • Random Variable XX 와 YY 의 함수 g(X,Y)g(X,Y) 의 기댓값
      E[g(X,Y)]=∫−∞∞∫−∞∞g(x,y)pXY(x,y)dxdy\mathbb{E}[g(X,Y)] = \int^{\infin}_{-\infin}\int^{\infin}_{-\infin} g(x,y)p_{XY}(x,y)dxdy

    Dirac delta 함수 δ(x)\delta(x) 를 이용하면 PMFPMF 를 PDFPDF 의 형태로 표시할 수 있다.

    Dirac delta 함수 δ(x−a)\delta(x-a) 는 다음과 같은 두 가지 성질을 만족하는 함수로 정의.

    ∫−∞∞δ(x−a)dx=1,δ(x−a)={∞,x=a0,x≠a\int^{\infin}_{-\infin}\delta(x-a)dx = 1, \quad \delta(x-a) = \left \{ \begin{array}{cc} \infin, \quad x=a \\ \\ 0, \quad x \neq a \end{array} \right .

    Dirac delta 함수의 성질을 이용하면, 다음과 같이 PMFPMF 의 총 합이

    1=∫−∞∞pX(x)dx=∫−∞∞∑i=1nwX(xi)δ(x−xi)dx=∑i=1nwX(xi)∫−∞∞δ(x−xi)dx=∑i=1nwX(xi)\begin{aligned} 1 = \int^{\infin}_{-\infin}p_{X}(x)dx &= \int^{\infin}_{-\infin}\sum^{n}_{i=1}w_X(x_i)\delta(x-x_i)dx \\ \\ &= \sum^{n}_{i=1}w_X(x_i)\int^{\infin}_{-\infin}\delta(x - x_i)dx \\ \\ &= \sum^{n}_{i=1}w_{X}(x_i) \end{aligned}

  • Probability (Mass Function) 기댓값

    • Discrete Random Variable X={x1,x2,⋯ ,xn}X = \{x_1, x_2, \cdots, x_n\}

    • PMFPMF 가 pX(xi)p_X(x_i) 일 때, XX 의 기댓값

      pX(x)=∑i=1nwXδ(x−xi)dxp_{X}(x) = \sum^{n}_{i=1}w_{X}\delta(x-x_i)dx

    • 기댓값의 정의

      E[X]=∫−∞∞xpX(x)dx\mathbb{E}[X] = \int^{\infin}_{-\infin}xp_{X}(x)dx

      에 의해 XX 가 가질 수 있는 값과 그 확률을 곱한 값의 총 합으로 계산. (with Dirac delta)

      E[X]=∫−∞∞xpX(x)dx=∫−∞∞x∑i=1nwX(xi)δ(x−xi)dx=∑i=1nwX(xi)∫−∞∞xδ(x−xi)dx=∑i=1nxiwX(xi)\begin{aligned} \mathbb{E}[X] = \int^{\infin}_{-\infin}xp_X(x)dx &= \int^{\infin}_{-\infin} x\sum^{n}_{i=1}w_X(x_i)\delta(x-x_i)dx \\ \\ &= \sum^{n}_{i=1}w_{X}(x_i)\int^{\infin}_{-\infin}x\delta(x-x_i)dx \\ \\ &= \sum^{n}_{i=1}x_iw_{X}(x_i) \end{aligned}

2. Variance

  • Random Variable 의 Variance.

    Var(X)=E[(X−E[X])2]=∫−∞∞(x−E[X])2pX(x)dx=E[X2−2XE[X]+(E[X])2]=E[X2]−2E[X]E[X]+(E[X])2=E[X2]−(E[X])2\begin{aligned} Var(X) &= \mathbb{E}[(X-\mathbb{E}[X])^2] \\ &= \int^{\infin}_{-\infin}(x-\mathbb{E}[X])^2p_{X}(x)dx \\ &= \mathbb{E}[X^2 - 2X\mathbb{E}[X] + (\mathbb{E}[X])^2] \\ &= \mathbb{E}[X^2] - 2\mathbb{E}[X]\mathbb{E}[X] + (\mathbb{E}[X])^2 \\ &= \mathbb{E}[X^2] - (\mathbb{E}[X])^2 \end{aligned}

  • XX 의 표준편차 (standard deviation) 은 σX=Var(X)\sigma_{X} = \sqrt{Var(X)} 로 정의.

  • Random Variable XX 와 YY 의 공분산 (covariance).

    Cov(X,Y)=E[(X−E[X])(Y−E[Y])]=∫−∞∞∫−∞∞(x−E[X])(y−E[Y])pXY(x,y)dxdy=E[XY−XE[Y]−YE[X]+E[X]E[Y]]=E[XY]−E[X]E[Y]−E[Y]E[X]+E[X]E[Y]=E[XY]−E[X]E[Y]\begin{aligned} Cov(X, Y) &= \mathbb{E}[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])] \\ &= \int^{\infin}_{-\infin} \int^{\infin}_{-\infin} \left( x-\mathbb{E}[X])(y-\mathbb{E}[Y] \right) p_{XY}(x, y)dxdy \\ &= \mathbb{E}[XY-X\mathbb{E}[Y] - Y\mathbb{E}[X] + \mathbb{E}[X]\mathbb{E}[Y]] \\ &= \mathbb{E}[XY] - \mathbb{E}[X]\mathbb{E}[Y] - \mathbb{E}[Y]\mathbb{E}[X] + \mathbb{E}[X]\mathbb{E}[Y] \\ &= \mathbb{E}[XY] - \mathbb{E}[X]\mathbb{E}[Y] \end{aligned}

  • X=YX = Y 라면 Cov(X,X)=E[XX]−E[X]E[X]=E[X2]−(E[X])2=Var(X)Cov(X, X) = \mathbb{E}[XX] - \mathbb{E}[X]\mathbb{E}[X] = \mathbb{E}[X^2] - (\mathbb{E}[X])^2 =Var(X).

Variable XX 와 YY 의 공분산이 00 이면 Random Variable XX 와 YY 는 서로 비상관 관계 (uncorrelation).

  • Random Variable XX 와 YY 의 상관도 (correlation) 는 다음과 같이 정의.
    Cor(X,Y)=E[XY]=∫−∞∞∫−∞∞xypXY(x,y)dxdy\begin{aligned} Cor(X, Y) &= \mathbb{E}[XY] \\ \\ &= \int^{\infin}_{-\infin}\int^{\infin}_{-\infin}xyp_{XY}(x, y)dxdy \end{aligned}

Random Variable XX 와 YY 가 서로 독립 일 때, correlation.

Cor(X,Y)=E[XY]=E[X]E[Y]Cor(X,Y) = \mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y]

propertyproperty

  • X,YX, Y 가 독립이면, (x,y)(x, y) 의 joint PDF 인 pXY(x,y)=pX(x)⋅pY(y)p_{XY}(x, y) = p_X(x) \cdot p_Y(y)

  • 수열의 합.

    ∑i∑jxiyj=(∑ixi)(∑iyi)\sum_i\sum_j x_iy_j = \left(\sum_i x_i\right)\left(\sum_i y_i\right)

  • dxdx 에 대해 적분하면 yy 에 대한 수식은 상수.

    ∫∫pX(x)pY(y)dxdy=∫pY(y)(∫pX(x)dx)dy\int\int p_X(x)p_Y(y)dxdy = \int p_Y(y)\left(\int p_X(x)dx\right)dy

  • E[X]\mathbb{E}[X] is constant.

source : https://www2.econ.osaka-u.ac.jp/~tanizaki/class/2012/econome1/05.pdf

Theorem:E[XY]=E[X]E[Y]{\rm Theorem} : \mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y], when XX is independent of YY.

pf.pf.
For discrete random variables XX and YY

E[XY]=∑i∑jxiyjpXY(xi,yj)=∑i∑jxiyjpX(xi)pY(yj)=(∑ixipX(xi))(∑jyjpY(yj))=E[X]E[Y]\begin{aligned} \mathbb{E}[XY] &= \sum_i\sum_jx_iy_jp_{XY}(x_i, y_j) \\ &= \sum_i\sum_jx_iy_jp_{X}(x_i)p_{Y}(y_j) \\ &= \left(\sum_ix_ip_{X}(x_i)\right)\left(\sum_jy_jp_{Y}(y_j)\right) = \mathbb{E}[X]\mathbb{E}[Y] \end{aligned}

pf.pf.
For continuous random variables XX and YY

E[XY]=∫−∞∞∫−∞∞xy⋅pXY(x,y)dxdy=∫−∞∞∫−∞∞xy⋅pX(x)⋅pY(y)dxdy=∫−∞∞y⋅pY(y)(∫−∞∞x⋅pX(x)dx)dy=E[X]⋅∫−∞∞y⋅pY(y)dy=E[X]E[Y]\begin{aligned} \mathbb{E}[XY] &= \int^{\infin}_{-\infin}\int^{\infin}_{-\infin}xy \cdot p_{XY}(x,y) dxdy \\ &= \int^{\infin}_{-\infin}\int^{\infin}_{-\infin}xy \cdot p_{X}(x) \cdot p_{Y}(y) dxdy \\ &= \int^{\infin}_{-\infin} y \cdot p_Y(y) \left( \int^{\infin}_{-\infin} x \cdot p_X(x)dx\right)dy \\ &= \mathbb{E}[X] \cdot \int^{\infin}_{-\infin} y \cdot p_Y(y)dy = \mathbb{E}[X]\mathbb{E}[Y] \end{aligned}

  • 두 Random Variable 가 독립
    E[XY]=E[X]E[Y]\mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y] 이므로

    Cor(X,Y)=E[XY]−E[X]E[Y]=0Cor(X, Y) = \mathbb{E}[XY] - \mathbb{E}[X]\mathbb{E}[Y] = 0

    이 되어서 두 Random Variable 는 비상관 관계가 된다.

    • 그러나 두 Random Variable 이 비상관 관계에 있다는 것은 독립을 의미하지 않는다.

  • Random Variable XX 와 YY 의 상관 계수 (correlation coefficient)

    ρXY=Cov(X,Y)Var(X)Var(Y)=E[XY]−E[X]E[Y](E[X2]−(E[X])2)(E[Y2]−(E[Y])2)\begin{aligned} \rho_{XY} &= \frac{Cov(X, Y)}{\sqrt{Var(X) Var(Y)}} \\ \\ &= \frac{\mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y]}{\sqrt{(\mathbb{E}[X^2] - (\mathbb{E}[X])^2) (\mathbb{E}[Y^2] - (\mathbb{E}[Y])^2)}} \end{aligned}

    상관계수는 (X−E[X])(X-\mathbb{E}[X]) 가 (Y−E[Y])(Y-\mathbb{E}[Y]) 와 얼마나 밀접한 관련이 있는지를 나타내는 척도.

    =E[XY]−E[X]E[Y]E[X2]E[Y2]−E[X2](E[Y])2−(E[X])2E[Y2]+(E[X])2(E[Y])2= \frac{\mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y]}{\sqrt{\mathbb{E}[X^2]\mathbb{E}[Y^2] - \mathbb{E}[X^2](\mathbb{E}[Y])^2 -(\mathbb{E}[X])^2 \mathbb{E}[Y^2]+ (\mathbb{E}[X])^2(\mathbb{E}[Y])^2}}
    • 두 Random Variable X,YX, Y 의 correlation 이 E[XY]=0→\mathbb{E}[XY] = 0 \rightarrow XX 와 YY 는 서로 직각.

3. Conditional Expectation, Variance

  • Random Variable YY 가 yy 로 주어진 XX 의 조건부 기댓값(conditional expectation)

    E[X∣Y=y]=∫−∞∞xpX∣Y(x∣y)dx\mathbb{E}[X|Y = y]=\int^{\infin}_{-\infin}xp_{X|Y}(x|y)dx

  • Random Variable YY 자체를 조건으로 하는 XX 의 조건부 기댓값.

    E[X∣Y]=∫−∞∞xpX∣Y(x∣Y)dx\mathbb{E}[X|Y] = \int^{\infin}_{-\infin}xp_{X|Y}(x|Y)dx

  • 주의

    • E[X∣Y=y]\mathbb{E}[X|Y=y] 는 실수 yy 의 함수로서의 Real value R\mathbb{R}
    • E[X∣Y]\mathbb{E}[X|Y] 는 Random Variable YY 의 함수로서 Random Variable

  • Random Variable YY 가 yy 로 주어진 XX 의 함수 g(X)g(X) 의 조건부 기댓값.

    E[g(X)∣Y=y]=∫−∞∞g(x)pX∣Y(x∣y)dx\mathbb{E}[g(X)|Y = y] = \int^{\infin}_{-\infin}g(x)p_{X|Y}(x|y)dx

  • Random Variable YY 를 조건으로 하는 XX 의 함수 g(X)g(X) 의 조건부 기댓값.

    E[g(X)∣Y]=∫−∞∞g(x)pX∣Y(x∣Y)dx\mathbb{E}[g(X)|Y] = \int^{\infin}_{-\infin}g(x)p_{X|Y}(x|Y)dx

  • yy 로 주어진 XX 의 조건부 분산 (conditional variance) 는 다음과 같이 정의.

    Var(X)=E[(X−E[X])2]=E[X2]−(E[X])2\begin{aligned} Var(X) &= \mathbb{E}[(X-\mathbb{E}[X])^2] \\ &= \mathbb{E}[X^2] - (\mathbb{E}[X])^2 \end{aligned}
    Var(X∣Y=y)=E[(X−E[X∣Y=y])2∣Y=y]=E[X2∣Y=y]−(E[X∣Y=y])2\begin{aligned} Var(X|Y=y) &= \mathbb{E}[(X-\mathbb{E}[X|Y=y])^2|Y=y] \\ &= \mathbb{E}[X^2|Y=y] - (\mathbb{E}[X|Y=y])^2 \end{aligned}

  • Random Variable YY 자체를 조건으로 하는 XX 의 조건부 분산.

    Var(X∣Y)=E[(X−E[X∣Y])2∣Y]=E[X2∣Y]−(E[X∣Y])2\begin{aligned} Var(X|Y) &= \mathbb{E}[(X-\mathbb{E}[X|Y])^2|Y] \\ &= \mathbb{E}[X^2|Y]-(\mathbb{E}[X|Y])^2 \end{aligned}

  • 주의

    • Var(X∣Y=y)Var(X|Y=y) 는 실수 yy 의 함수로서 실수
    • Var(X∣Y)Var(X|Y) 는 Random Variable YY 의 함수로서 Random Variable

  • Var(X∣Y)Var(X|Y) 는 Random Variable 이므로 기댓값 가능.

    E[Var(X∣Y)]=E[E[X2∣Y]−(E[X∣Y])2]=E[E[X2∣Y]]−E[(E[X∣Y])2]=E[X2]−E[(E[X∣Y])2]\begin{aligned} \mathbb{E}[Var(X|Y)] &= \mathbb{E}[\mathbb{E}[X^2|Y]-(\mathbb{E}[X|Y])^2] \\ &= \mathbb{E}[\mathbb{E}[X^2|Y]] - \mathbb{E}[(\mathbb{E}[X|Y])^2] \\ &= \mathbb{E}[X^2]-\mathbb{E}[(\mathbb{E}[X|Y])^2] \end{aligned}

  • E[X∣Y]\mathbb{E}[X|Y] 도 Random Variable 이므로 분산 가능.

    Var(E[X∣Y])=EY[(E[X∣Y]−E[E[X∣Y]])2]=E[(E[X∣Y])2]−(E[X])2\begin{aligned} Var(\mathbb{E}[X|Y]) &= \mathbb{E}_{Y}[(\mathbb{E}[X|Y]- \mathbb{E}[\mathbb{E}[X|Y]])^2] \\ &= \mathbb{E}[(\mathbb{E}[X|Y])^2] - (\mathbb{E}[X])^2 \end{aligned}
    • EY[⋅]\mathbb{E}_{Y}[\cdot] 는 Random Variable YY 에 관한 기댓값임을 강조하기 위한 기호.

  • E[Var(X∣Y)]\mathbb{E}[Var(X|Y)] 와 Var(E[X∣Y])Var(\mathbb{E}[X|Y]) 을 더하면,

E[Var(X∣Y)]+Var(E[X∣Y])=E[X2]−(E[X])2=Var(X)\mathbb{E}[Var(X|Y)] + Var(\mathbb{E}[X|Y]) = \mathbb{E}[X^2] - (\mathbb{E}[X])^2 = Var(X)
profile
d4r6j
이전 포스트

Principal Component Analysis (PCA)

0개의 댓글

관련 채용 정보