2. Joint distribution과 Independent

서론

어떤 확률을 고려할 때 두 변수 X,Y를 고려해야할 때 이를 어떻게 표현하고 어떠한 용어들을 사용할 수 있을지 알아보자.

또한 두 확률변수가 독립이라는 것의 진정한 의미가 무엇인지 알아보도록 하자.

Joint Distribution

두 확률변수 X,Y가 존재한다고 하자.(확률변수가 무엇인지는 추후에 다루겠다.) 어떤 확률은 두 개의 확률변수에 대해 좌지우지 될 수 있다. 예를 들어 X를 학생들이 공부한 시간, Y를 학생들이 받은 점수라고 한다면 P(X=x,Y<=y)는 학생 한 명을 뽑았을 때 그 학생이 x시간 공부하고 y점 이하를 받았을 확률을 의미한다.

이러한 두 가지 이상의 확률변수에 의해 확률이 결정되는 분포를 Joint Distribution이라고 한다.

만약 X,Y가 discrete(이산적)이라면 Joint probability mass fuction, X,Y가 continuous(연속적)이라면 Joint probability density function이라고 부른다.
또한 joint cumulative distribution function F(x,y)도 물론 존재한다.

관련 예시는 다음 유튜브 영상의 예시를 첨부한다.
https://youtu.be/CAXQvTKP8sg

행이 시험점수, 열이 공부한 시간이다. 각각의 영역에 관한 확률이 적혀있다.

Marginal probability distribution

만약 Joint distribution에서 확률변수 X에 관한 확률, 확률변수 Y에 관한 확률만 알고 싶다면 어떻게 해야할까?
핵심은 고정이다.

만약 X에 대한 확률만 알고 싶다면 Y값들을 고정하면 될 것이다.
예를 들어 위 그림에서 80~100점 사이 학생들에 관한 확률을 알고 싶다면 X를 $80\leq x \leq 100$으로 고정한 후 모든 Y에 관해 더해주면 된다. 위 그림에서는 0+2+8+10 = 20이 나왔다.

이와 같은 방식으로 각 확률을 가장자리(margin)에 적어보면 두 개의 각 확률변수에 대한 분포가 나오는데 이를 marginal distribution이라고 한다.

Conditional probaility distribution

conditional probability란 앞서 봤던 조건부확률과 비슷한 것이다. 하나의 확률변수를 고정하고 그 내부에서 확률변수가 어떤 확률을 갖는지에 관한 것이다. 예를 들어 위의 그림에서 Y를 0~20으로 고정했다면 그 내부에서 x가 20~39일 확률은 $5\over 7$인 것이다. Y가 0~20이라는 condition 즉 조건을 달아놓고 나머지에 관한 분포를 보는 것이 conditional probaility distribution이다.

한 가지 더 생각할 것은 고정시킨다는 것인데 0~20에서의 Y가 발생한 상태이므로 0~20에서의 Y가 발생할 확률인 marginal distribution의 $0\leq Y \leq 20$ 값을 가져와서 나누어주면 된다.

Independent

이제 독립에 대해 알아보자. 독립이란 무엇일까? 두 확률변수 간의 연관성이 없다는 의미를 갖는다고 한다. 하지만 나는 이 설명이 본질을 설명하지 못한다고 생각한다. 연관성이 없는 것들이 independent일 수 있지만 현실세계에서는 모종의 연관성이 있더라도 independent일 수 있다. 무슨 의미일까?

[현실세계 연관성이 있어도 independent일 수 있는 예제는 추가 예정]

결론적으로 두 확률변수가 실제 세계에서 이러쿵 저러쿵 관계가 있더라도 결론적으로 B사건이 일어났을 때에도 A 사건이 일어날 확률, 그 확률만 유지가 되면 independent라고 부르겠다는 것이다.

그 확률은 독립적, 독립적이니까 두 개가 서로 일어나든 말든 확률은 유지된다. 이렇게 받아들이면 되겠다.

그러므로 두 사건의 독립은 다음과 같이 표현된다.
$P(A|B) = P(B) <=> P(A∩B) = P(A)P(B)$

만약 X,Y가 독립이라면 joint probability distribution에서는 다음과 같이 표현할 수 있다.

$p_{ij} = p_{i+}p_{+j}$
$f(x,y) = f_X(x)f_Y(y)$

$p_{i+}$는 i를 고정시키고 X = i 에서의 확률을 구했다는 의미이다.

$p_{+j}$는 j를 고정시키고 Y = j에서의 확률을 구했다는 의미이다.

$f_X(x)$는 x로 고정시키고 y에 관해 $-\infty$부터 $\infty$까지 적분했다는 의미이다.

$f_Y(y)$는 x로 고정시키고 x에 관해 $-\infty$부터 $\infty$까지 적분했다는 의미이다.

앞의 첫 문장은 독립이라면 X = i가 일어날 때의 확률을 구하고 Y = j에서의 확률을 곱하면 동시에 일어난 확률을 알 수 있다는 의미이다.

두번째는 이해가 잘 안될 수 있는데 f(x,y)라는 probability density function을 그냥 이렇게 구할 수 있겠구나라고 생각하면 된다.