다변량 확률분포

Wackerly et al., Mathematical Statistics with Applications을 읽고
책 내용을 정리하였습니다.

5.1 서론

5.2 이변량과 다변량 확률분포

결합 확률함수

$Y_1, Y_2$를 이산확률 변수라 할 때
$Y_1, Y_2$의 결합 (또는 이변량) 확률함수(join (or bivariate) probability function)은 다음과 같다.

$p(y_1, y_2) = P(Y_1 = y_1, Y_2 = y_2), -\infin < y_1 < \infin, -\infin < y_2 < \infin$

결합 확률함수 성질

$Y_1, Y_2$가 결합확률함수 $p(y_1, y_2)$를 갖는 이산확률변수이면,
1. 모든 $y_1, y_2$에 대해 $p(y_1, y_2) \geq 0$
2. $\sum_{y1,y2}p(y_1, y_2) = 1$이다. 여기서 합은 0이 아닌 확률들이 할당된 모든 값 $(y1, y2)$에 대한 것이다.

결합(이변량)분포함수

임의의 확률변수 $Y_1, Y_2$에 대해,
결합(이변량)분포함수 $F(y_1, y_2)$는 다음과 같이 정의
$F(y_1, y_2) = P(Y_1 \leq y_1, Y_2 \leq y_2), -\infin < y_1 < \infin, -\infin < y_2 < \infin$

공동연속

• 두 확률변수의 결합분포함수 $F(y_1, y_2)$가 연속이면, 두 확률변수들이 공동연속(jointly continuous)이라고 한다.

• $Y_1, Y_2$가 결합분포함수 $F(y_1, y_2)$를 연속확률변수라 할 때
  만일 모든 $-\infin < y_1 < \infin, -\infin < y_2 < \infin$에 대해

  $F(y1, y2) = \int_{-\infin}^{y1}\int_{-\infin}^{y2} f(t_1, t_2)\, dt_2,dt_1$

을 만족하는 음이 아닌 함수 $f(y_1, y_2)$가 존재하면
$Y_1$과 $Y_2$는 공동확률변수(jointly continuous random variable)라 한다.
$f(y_1, y_2)$를 결합확률밀도함수(joint probability density function)이라 한다.

결합분포함수 성질

$Y_1, Y_2$가 결합분포함수 $F(y_1, y_2)$를 갖는 확률변수이면 다음이 성립,
1. $F(-\infin, -\infin) = F(-\infin, y_2) = F(y_1, -\infin) = 0$
2. $F(\infin, \infin) = 1$
3. $y_1^* \geq y_1, y_2^* \geq y_2$이면
$F(y_1^*, y_2^*)-F(y_1^*, y_2)-F(y_1, y_2^*)+F(y_1, y_2) \geq 0$

공동연속확률변수 성질

$Y_1, Y_2$가 결합밀도함수 $f(y_1, y_2)$를 갖는 공동연속확률변수이면 다음이 성립,
1. 모든 $y_1, y_2$에 대해, $f(y_1, y_2) \geq 0$
2. $\int_{-\infin}^{\infin}\int_{-\infin}^{\infin} f(y_1, y_2)\, dy_1,dy_2 = 1$

5.3 주변과 조건부확률분포

주변확률함수

$Y_1, Y_2$는 확률함수 $p(y_1, y_2)$를 갖는 공동 이산확률변수이면 $Y_1, Y_2$의 주변확률함수(marginal probability function)는 각각 다음과 같음

$p_1(y_1) = \sum_{모든 y_2}p(y_1, y_2), p_2(y_2) = \sum_{모든 y_1}p(y_1, y_2)$

주변밀도함수

$Y_1, Y_2$는 결합밀도함수 $f(y_1, y_2)$를 갖는 공동 연속확률변수이면 $Y_1, Y_2$의 주변밀도함수(marginal density function)는 각각 다음과 같음

$f_1(y_1) = \int_{-\infin}^{\infin} f(y_1, y_2)dy_2, f_2(y_2) = \int_{-\infin}^{\infin}f(y_1, y_2)dy_1$

조건부이산확률함수

$Y_1, Y_2$는 결합확률함수가 $p(y_1, y_2)$이고 각각의 주변확률함수가 $p_1(y_1), p_2(y_2)$인 공동 이산확률변수이면,
$Y_2$가 주어졌을 때 $Y_1$의 조건부이산확률함수(conditional discrete probability function)는 $p_2(y_2) >0$일 때 다음과 같이 정의

$p(y_1|y_2) = P(Y_1 = y_1|Y_2 = y_2) = \frac{P(Y_1 = y_1, Y_2 = y_2)}{P(Y_2 = y_2)} = \frac{p(y_1, y_2)}{p_2(y_2)}$

조건부분포함수

$Y_1, Y_2$는 결합밀도함수 $f(y_1, y_2)$를 갖는 공동 연속확률변수이면
$Y_2 = y_2$가 주어졌을 때, $Y_1$의 조건부분포함수(conditional distribution function)는 다음과 같음

$F(y_1|y_2) = P(Y_1 \leq y_1|Y_2 = y_2)$

조건부밀도함수

$Y_1, Y_2$는 결합밀도함수 $f(y_1, y_2)$와 주변밀도함수 $f_1(y_1), f_2(y_2)$를 갖는 공동 연속확률변수라 하면
$f_2(y_2) > 0$을 만족하는 임의의 $y_2$에 대해, $Y_2 = y_2$가 주어졌을 때, $Y_1$의 조건부밀도함수는

$f(y_1|y_2) = \frac {f(y_1, y_2)}{f_2(y_2)}$

$f_1(y_1) > 0$을 만족하는 임의의 $y_1$에 대해, $Y_1 = y_1$가 주어졌을 때, $Y_2$의 조건부밀도함수는

$f(y_2|y_1) = \frac {f(y_1, y_2)}{f_1(y_1)}$

5.4 독립 확률변수

독립, 종속

$Y_1$은 분포함수 $F_1(y_1)$을 갖고, $Y_2$는 분포함수 $F_2(y_2)$을 가지며, $Y_1, Y_2$는 결합분포함수 $F(y_1, y_2)$를 가진다 하자
모든 실수들의 쌍 $(y_1, y_2)$에 대해 $F(y_1, y_2) = F_1(y_1)F_2(y_2)$면
$Y_1, Y_2$는 독립(independent)
$Y_1$과 $Y_2$가 독립이 아니면 종속(dependent)

결합확률함수, 결합밀도함수 독립

$Y_1, Y_2$는 결합확률함수가 $p(y_1, y_2)$이고 각각의 주변확률함수가 $p_1(y_1), p_2(y_2)$인 이산확률변수이면,
$Y_1, Y_2$가 독립일 필요충분조건은 모든 실수들의 쌍$(y_1, y_2)$에 대해

$p(y_1, y_2) = p_1(y_1)p_2(y_2)$

$Y_1, Y_2$는 결합밀도함수가 $f(y_1, y_2)$이고 각각의 주변밀도함수가 $f_1(y_1), f_2(y_2)$인 이산확률변수이면,
$Y_1, Y_2$가 독립일 필요충분조건은 모든 실수들의 쌍$(y_1, y_2)$에 대해

$f(y_1, y_2) = f_1(y_1)f_2(y_2)$

$Y_1, Y_2$의 결합밀도함수가 $f(y_1, y_2)$가 양일 필요충분조건이
상수 $a,b,c,d$에 대해 $a \leq y_1 \leq b$와 $c \leq y_2 \leq d$이며
그 외에는 $f(y_1, y_2) = 0$ 이라 하자
그러면 $Y_1과 Y_2$가 독립일 필요충분조건은

$f(y_1, y_2) = g(y_1)h(y_2)$

이다. 여기서 $g(y_1)$은 $y_1$만의 함수로 음이 아니며 $h(y_2)$은 $y_2$만의 함수로 음이 아니다.
=> 두 함수가 밀도함수일 필요는 없다

5.5 확률변수들의 함수의 기댓값

결합확률함수 기댓값

$g(Y_1, Y_2, ... Y_k)$는 결합확률함수 $p(y_1, y_2, ..., y_k)$를 갖는 이산확률변수 $Y_1, Y_2, ..., Y_k$라 하자
이 때 $g(Y_1, Y_2, ... Y_k)$의 기댓값은

$E[g(Y_1, Y_2, ... Y_k)] = \sum_{[모든 y_k]}...\sum_{[모든 y_2]}\sum_{[모든 y_1]}g(y_1, y_2, ... y_k)p(y_1, y_2, ... y_k)$

결합밀도함수 기댓값

$Y_1, Y_2, ..., Y_k$가 결합밀도함수 $f(y_1, y_2, ..., y_k)$를 갖는 연속확률변수라면

$E[g(Y_1, Y_2, ... Y_k)] = \int_{-\infin}^{\infin}...\int_{-\infin}^{\infin}\int_{-\infin}^{\infin}g(y_1, y_2, ... y_k)f(y_1, y_2, ... y_k)dy_1dy_2...dy_k$

5.6 특별한 정리

상수 기댓값

$c$가 상수이면 다음이 성립,

$E(c) = c$

확률함수 상수곱 기댓값

$g(Y_1, Y_2)$는 확률변수 $Y_1, y_2$의 함수이고 $c$가 상수이면 다음이 성립

$E[cg(Y_1, Y_2)] = cE[g(Y_1, Y_2)]$

기댓값 합

$Y_1, Y_2$는 확률변수이고 $g_1(Y_1, Y_2), g_2(Y_1, Y_2), ..., g_k(Y_1, Y_2)$가 $Y_1, Y_2$의 함수이면 다음이 성립,

$E[g_1(Y_1, Y_2) + g_2(Y_1, Y_2) + ... + g_k(Y_1, Y_2)] \\ = E[g_1(Y_1, Y_2)] + E[g_2(Y_1, Y_2)] + ... + E[g_k(Y_1, Y_2)]$

확률변수 독립일 때 기댓값

$Y_1, Y_2$가 독립인 확률변수이고 $g(Y_1)$과 $h(Y_2)$가 각각 $Y_1, Y_2$만의 함수이며 기댓값이 존재하면 다음이 성립

$E[g(Y_1)h(Y_2)] = E[g(Y_1)]E[h(Y_2)]$

5.7 두 확률변수의 공분산

공분산

$Y_1, Y_2$가 각각 평균 $\mu_1, \mu_2$를 갖는 확률변수이면
$Y_1과 Y_2$의 공분산(covariance)은 다음과 같다.

$Cov(Y_1, Y_2) = E[(Y_1- \mu_1)(Y_2 - \mu_2)]$

무상관

공분산이 0이면 변수들이 무상관(uncorrelated)

상관계수(correlation coefficient)

상관계수(correlation coefficient) $\rho$ 식은 다음과 같다
=> 공분산을 표준화

$\rho = \frac{Cov(Y_1, Y_2)}{\sigma_1\sigma_2}$

공분산 계산공식

$Y_1$과 $Y_2$가 각각 평균 $\mu_1$과 $\mu_2$를 갖는 확률변수라 하면 다음이 성립

$Cov(Y_1, Y_2) = E[(Y_1 - \mu_1)(Y_2 - \mu_2)] = E(Y_1Y_2) - E(Y_1)E(Y_2)$

독립일 때 공분산

만일 $Y_1$과 $Y_2$가 독립 확률변수이면

$Cov(Y_1, Y_2)=0$

이다. 그러므로 독립 확률변수들은 무상관이다.

5.8 확률변수들의 선형함수에 대한 기댓값과 분산

두 선형조합 사이의 공분산

만일 $Y_1, Y_2, ... Y_n$과 $X_1, X_2, ..., X_m$이 $E(Y_i) = \mu_i$이고 $E(X_i) = \xi_j$인 확률변수라 하면
상수 $a_1, a_2, ..., a_n$와 $b_1, b_2, ... b_m$에 대해

$U_1 = \sum_{i=1}^na_iY_i, U_2 = \sum_{=1}^nb_jX_j$

라 하면, 다음이 성립
a. $E(U_1) = \sum_{i=1}^{n}a_i\mu_i$
b. $V(U_1) = \sum_{i=1}^{n}a_i^2V(Y_i) + 2 \sum\sum_{1 \leq i < j \leq n}a_ia_jCov(Y_i, y_j)$,
여기서 이중 합은 $i < j$인 모든 쌍 $(i, j)$에 대한 합
c. $Cov(U_1, U_2) = \sum_{i=1}^n\sum_{j=1}^ma_ib_jCov(Y_i, X_j)$

5.9 다항확률분포

다항실험

다항실험(multinomial experiment)은 다음 성질을 갖는다.
1. 실험은 n번의 동일한 시행으로 구성되어 있다.
2. 각 시행의 기본결과는 k개의 부류나 셀 중의 하나에 해당한다.
3. 단일 시행의 기본결과가 $i$번째 부류에 속할 확률은 $p_i, i = 1,2,...,k$이고 시행마다 동일하게 유지된다.
$p_1 + p_2 + p_3 + ... + p_k = 1$
4. 시행들은 독립이다.
5. 관심있는 확률변수들은 $Y_1, Y_2, ..., Y_k$이다. 여기서 $Y_i$ 기본결과가 $i$번째 부류에 속하는 시행의 횟수이다.
$Y_1 + Y_2 + ... + Y_k = n$

다항분포

$p_1, p_2, ..., p_k$는 $\sum_{i=1}^kp_i=1$이며
$i =1,2, ..., k$에 대해 $p_i > 0$이라 하자.
만일 $Y_1, Y_2, ..., Y_k$의 결합확률 함수가 다음과 같으면,
확률변수 $Y_1, Y_2, ..., Y_k$는 모수 n과 $p_1, p_2, ..., p_k$를 갖는 다항분포(multinomial distribution)을 따른다.

$p(y_1, y_2, ..., y_k) = \frac{n!}{y_1!y_2!...y_k!}p_1^{y_1}p_2^{y_2}...p_k^{y_k}$

여기서 각 $i$에 대해, $y_i = 0, 1, 2, ..., n$이며 $\sum_{i=1}^{k}y_i = n$

다항분포 평균, 분산, 공분산

만일 $Y_1, Y_2, ..., Y_k$가 모수 $n$과 $p_1, p_2, ..., p_k$를 갖는 다항분포를 따른다면 다음 성립
1. $E(Y_i) = np_i, V(Y_i) = np_iq_i$
2. $Cov(Y_s, Y_t) = -np_sp_t, s \neq t$

5.10 이변량 정규분포(선택)

5.11 조건부 기댓값

조건부기댓값

만일 $Y_1$과 $Y_2$가 임의의 확률변수이면, $Y_2 = y_2$가 주어진 경우 $g(Y_1)$의 조건부기댓값(conditional expectation)은
만일 $Y_1, Y_2$가 공동연속이면

$E(g(Y_1)|Y_2=y_2) = \int_{-\infin}{\infin}g(y_1)f(y_1|y_2)dy_1$

만일 $Y_1$과 $Y_2$가 공동이산이면

$E(g(Y_1)|Y_2=y_2) = \sum_{모든 y1}g(y_1)p(y_1|y_2)$

확률변수 평균

$Y_1$과 $Y_2$를 확률변수라 하자, 그러면

$E(Y_1) = E[E(Y_1|Y_2)]$

이다. 여기서 오른쪽 내부의 기댓값은 $Y_2$가 주어진 경우 $Y_1$의 조건부분포에 관한 것이고 외부의 기댓값은 $Y_2$의 분포에 관한 것이다.

확률변수 분산

$Y_1$과 $Y_2$를 확률변수라 하자, 그러면

$V(Y_1) = E[V(Y_1|Y_2)] + V[E(Y_1|Y_2)]$

5.12 요약