기댓값과 분산

choyunjeong·2024년 12월 10일

수리통계학 제 5판 - 송성주, 전명식

목록 보기

2/20

확률밀도함수나 확률분포함수는 확률변수의 전체적인 성격을 설명하는데, 때로 우리는 몇개의 수치로 확률분포의 성질을 요약하고자 한다. 대표적으로 기댓값이 있으며 변수의 위치를 나타내는 중요한 모수이다.

E(X)=\int_{-\infty}^{\infty}xf(x)dx

확률변수 $X$ 의 기댓값은 가중평균이라는 것을 알 수 있다. 확률변수 $X$ 의 함수인 $g(X)$ 의 기댓값 $E[g(X)]$ 는 변수 $Y=g(x)$ 의 확률밀도함수를 $f_Y(y)$ 라 할 때

E_X[g(X)]=f_Y(y)=\int_{-\infty}^{\infty}yf_Y(y)dy

그런데 $X$ 의 확률밀도함수를 알고 있다면, $Y$ 의 확률밀도함수를 구할 필요 없이 기댓값을 구할 수 있다.

E_X[g(X)]=\int_{-\infty}^{\infty}g(x)f_X(x)dx

예
$f_X(x)=xe^{-x},\ (X>0)$ 일 때, $g(X)=X^2+5$ 의 기댓값은?

E(X^2+5)=\int_{0}^{\infty}(x^2+5)f_X(x)dx

정리 2.6

\begin{aligned} &E(c) = c \\[5pt] &E(aX+b) = aE(X)+b \end{aligned}

이와 같은 성질들은 기댓값의 선형성(linearity)을 보여주는데 $\sum,\ \int$ 가 선형이므로 자연스러운 결과.

두 확률변수 $X,\ Y$ 가 서로 독립이면 $E[g(X)h(Y)]=E[(g(X)]\cdot E[h(Y)]$

분산
확률변수 $X$ 의 변동을 나타내는 측도로서 $X$ 가 평균 $E(X)$ 로부터 흩어져 있는 정도를 분산으로 정의하고 다음과 같다

\text{Var}(X)=E[X-E(X)]^2

분산의 제곱근을 $\sigma_X=\sqrt{\text{Var}(X)}$ 로 표기한다.

분산은 단위에 영향을 받으므로 단위가 통일된 표준편차를 사용하여 측정. 나아가, 확률변수 $X$ 를 그의 기댓값과 표준편차를 사용하여

Z=\dfrac{X-E(X)}{\sigma_X}

로 변환을 하면, $Z$ 는 평균이 0이고 분산이 1이 된다. 이러한 변환을 변수의 표준화(standardization)라고 한다.

한변, 확률변수 $X$ 의 분산은 $E(X)$ 와 $E(X^2)$ 을 사용하여 다음과 같이 나타낸다.

\begin{aligned} \text{Var}(X) &=E[(X-E(X))^2] \\[10pt] &=E[X^2-2E(X)X+(E(X))^2] \\[10pt] &=E(X^2)-2E(X)E(X)+[E(X)]^2 \\[10pt] &=E(X^2)-2E(X)^2+[E(X)]^2 \\[10pt] &=E(X^2)-[E(X)]^2 \end{aligned}

정리 2.8
1) 확률변수 $X,\ Y$ 에 대하여, $Y=aX+b$ 이면

\text{Var}(Y)=a^2\text{Var}(Y)

[증명]

\begin{aligned} \text{Var}(Y) &=E[(aX+b)-E(aX+b)]^2 \\[10pt] &=E[aX-E(aX)]^2 \\[10pt] &=a^2E[X-E(X)]^2 \\[10pt] &=a^2\text{Var}(X) \end{aligned}

2) 확률변수 $X_1, \ldots, X_n$ 이 서로 독립이면

\text{Var}\left(\sum_{i=1}^{n}X_i\right)=\sum_{i=1}^{n}\text{Var}(X_i)

[증명]

\begin{aligned} \text{Var}(X_1+X_2) &=E[(X_1+X_2)^2]-[E(X_1+X_2)]^2 \\[10pt] &=E[(X_1+X_2)]^2-[E(X_1)+E(X_2)]^2 \\[10pt] &=E(X_1^2+2X_1X_2+X^2)-[E(X_1)^2+2E(X_1)E(X_2)+E(X_2)^2] \\[10pt] &=E(X_1^2)-E(X_1)^2 +E(X_2^2)-E(X_2)^2 \\[10pt] &=\text{Var}(X_1)+\text{Var}(X_2) \end{aligned}

공분산
하나의 확률변수가 흩어진 정도를 측정하는 측도로서 분산을 생각했다면, 공분산은 두 확률변수 $X,\ Y$ 사이의 흩어진 관계를 측정하는 측도로 생각할 수 있다. 공분산은 $X$ , $Y$ 가 선형적으로 함계 움직이는 정도를 표현해주는 측도.

정의 2.9

Cov(X,Y)=E[(X-E(X))(Y-E(Y))]=E(XY)-E(X)E(Y)

위의 정의로부터
1. $Cov(X,\ X)=\text{Var}(X)$
2. 두 확률변수 $X,\ Y$ 가 서로 독립이면 $Cov(X,\ Y)=0$

[참고문헌]