원본 영상: Lecture 8: Random Variables and Their Distributions | Statistics 110

Binomial Distribution(Bin(n,p)) $X|sim Bin(n,p)$
distribution이 뭔지 3가지 관점에서 해석한다.
$X\sim Bin(n,p)$ => 확률 변수 X가 binomial distribution을 갖는 다는 것은 아래의 세가지 관점중 하나로 해석될 수 있다는 것이다.
1) Story: X는 n개의 독립적인 시행(Bern(p), p:성공할 확률)에서 성공횟수를 나타낸다.
2) indicator random variable의 합의 꼴로 해석: $X=X_1+X_2+...+X_n, X_j$:{1 if jth trial success, 0: otherwise} => 결국 생각해보면 1)에서 말한 것처럼 n번의 독립시행 중 성공의 횟수를 나타내는 것이다.
$X_1,...,X_n$: i.i.d(independent identically distributed) Bern(p) -> 모두 독립이라는 말.
Indicator r.v: 사건이 일어나면 1, 아니면 0인 확률변수.
Distribution: X(확률 변수)가 어떻게 다르게 행동할지에 대한 확률을 얘기한다.
3) PMF: 확률 변수가 특정한 값을 갖을 확률 $P(X=k)=\binom{n}{k}*p^k*(1-p)^k, k\in \{0,1,...,n\}$ 이게 확률 질량 함수임.

R.V.S(random variables)

=> 발생 가능한 사건에 각 숫자를 지정해주는 함수.

=>여기서 X는 확률변수이고 X=7은 사건이다.

CDF

$X\leq x$ 이것도 사건이다.
$F(x)=P(X\leq x)$
여기서 F를 X의 CDF(cummulaitve distribution function)라고 부른다.

실험을 한 후 X가 뭔지 알 수 있다. X가 7이고 x가 9라면 사건이 일어났다고 할 수 있는 것이다. 그리고 이런 사건이 일어날 확률을 보는게 CDF이다.

분포를 나타내는 방법중 하나이다.

---

PMF(for discrete random variables)

=> 이산확률변수에 대해서만 정의됨.

• Discrete: 가능한 값들을 열거(list)할 수 있다. 즉, 확률 변수 값이 무한할지라도 가산성이 있어야한다.
  Ex) $a_1, a_2, a_3, ..., a_n\space or\space a_1, a_2, ...$(주사위 던지기, 동전 던지기 결과)

• 연속확률변수: 임의의 실수 값을 가지거나 특정 구간 사이에 있는 실수를 값으로 가진다. 한마디로, 특정 구간내에 모든 값을 취할 수 있는 확률 변수이다. 셀수 없음 Ex) 사람의 키(150.1cm, 152.2cm...), 사람의 체중(80.1kg, 80.3kg ...), 특정 시각의 기온...

이 개념을 바탕으로 PMF를 생각하면,

• PMF: 모든 j에 대해 $P(X=a_j)==P_j$이다. => $X$가 $a_j$일 확률
• 조건: $P_j\geq 0$, $\sum_jP_j=1$

*이산확률변수는 CDF보다 PMF가 더 편하다. PMF는 이산확률변수인 경우만 정의됨.
고로, 분포를 찾는 경우 이산확률변수에서는 PMF를 찾는 것이 더 쉽다.

$P(X=k)=\binom{n}{k}*p^k*(q)^k,q=1-p ,k\in \{0,1,...,n\}$

이 식이 0보다 크거나 같고 이 식을 모두 합했을 때 1이되는지 보자.
$\sum^n_{k=0}\binom{n}{k}p^k*q^{n-k}=(p+q)^n=1^n$
이항 정리의 형태임을 확인할 수 있음. 그리고 q가 1-p이기에 대입해주면 합도 1이됨을 확인할 수 있다.

---

Sum of two binomial

이전 포스트에서 말했던 $X\sim Bin(n,p), Y\sim Bin(m,p)$이 둘은 독립일 때 이 둘의 합이 $X+Y\sim Bin(n+m, p)$가 되는 지 위의 세 관점에서 증명해보자.
*두개의 함수를 더하려면 두 함수가 같은 정의역을 가져야한다 => X와 Y는 같은 베르누이 분포의 사건을 갖기에 같은 정의역을 갖는다고 하는 것 같다.(강의에서는 정의역이 pebble 표본 집단이여서 만족한다고 한다.)

1. Immediate from story
   -> 직관적으로 동전을 n번 던진 후 추가로 m번 던진 것이라고 볼 수 있다. 두개의 베르누이 분포의 p가 같기 때문에. 고로 n+m번 동전을 던졌을 때 앞면이 나올 확률로 p를 구할 수 있는 것이다.

2. $X=X_1+...X_n, Y=Y_1+...+Y_m => \sum^n_{j+1}X_j+\sum^m_{j=1}Y_j$ => 이건 결국 n+m개의 i.i.d 베르누이 분포의 합이다. 고로 $Bin(n+m, p)$로 나타낼 수 있음.

3. PMF 사용.

   => $P(X+Y=k)=LOTP사용=>\sum^k_{j=0}P(X+Y=k|X=j)*P(X=j)=\sum^k_{j=0}P(Y=k-j|X=j)*\binom{n}{j}*p^j*q^{n-j}$
   $=\sum^k_{j=0}\binom{m}{k-j}*p^{k-j}q^{m-k+j}*\binom{n}{j}p^jq^{n-j}=p^k*q^{m+n-k}*\sum^k_{j=0}\binom{m}{k-j}\binom{n}{j}$

• 여기서 덧셈을 j=0에서 n까지가 아닌 k까지만 하는 이유는 X+Y가 k이니까 음수가 아닌 두개를 더했을 때 k이면 두 값의 최대는 k가 되기 때문에.
• 그리고 X와 Y는 독립이기 때문에 Y=k-j에서 뒤에 있는 X=j 조건은 무시할 수 있음.
• $P(X+Y=k)$ 에서 X+Y는 합성곱(convolution)이다.
• $\binom{m}{k-j}\binom{n}{j}$=$\binom{m+n}{k}$(Vandermond) => 고로, 원래 증명하려했던 식이 성립한다.

Mistake

=> 이항 분포가 아닌데 이항분포라고 생각하는 경우

• key assumption: 시행이 독립적이고, 성공 확률이 같아야함.
  Ex. 52장 카드덱에서 무작위로 5장의 카드를 뽑았다. 꺼낸 카드 중 에이스 카드의 개수의 확률 분포를 구하고 싶음.
• X: ace의 개수(random variable)
• P(X=k): $k\in\{0,1,2,3,4\}$인 경우 제외하면 0 => 여기서 이항분포가 아님을 결론내릴 수 있다. 시행이 독립적이지가 않다. 처음에 뽑은 카드가 다음 카드가 뽑힐 확률에 영향을 주기 때문이다.

하지만 , PMF를 구해서 풀어보자

$P(X=k)=\frac{\binom{4}{k}*\binom{48}{5-k}}{\binom{52}{5}}$ for $k\in \{0,1,...,4\}$

위의 식을 좀 더 일반적인 형식으로 보자.

구슬로 가득찬 항아리가 있다고 가정한다.

• b: 검은 구슬의 개수
• w: 하얀 구슬의 개수

전체에서 n개의 구슬을 뽑는다.(무작위 표본은 크기 n인 표본이 선택된 확률이 모든 부분집합에 대해 같음). 표본으로 뽑힌 구슬 중 하얀 구슬의 개수의 분포를 알고 싶다.

• X: 하얀 구슬의 개수(확률 변수)

  $P(X=k)=\frac{\binom{w}{k}*\binom{b}{n-k}}{\binom{w+b}{n}},0\leq k\leq w, 0\leq n-k\leq b$

  *Hypergeometric distribution: sampling without replacement
  한마디로 구슬이든 아까 카드든 다시 돌려놓으면 이항 분포가 될 수 있지만, 여기서는 지금 다시 돌려놓지 않기에 이항 분포가 되지 못한다. 다시 돌려놓지 않는 경우가 바로 Hypergeometric이란 거임.
  여기서 재밌는 건 만약에 전체 표본의 개수가 매우 크면(ex. 10억 개의 구슬에서 2개를 뽑는 경우) Hypergeometric 분포가 이항 분포에 근사하게 된다. 왜냐하면 영향을 끼치긴 하지만 미미하기 때문이다.

그럼 Hypergeometric의 확률질량함수는 유효한가?
일단 음수가 아님은 자명하다. 고로 다 더했을 때 1이 나오는 지 확인해보자.

$\sum^w_{k=0}\frac{\binom{w}{k}*\binom{b}{n-k}}{\binom{w+b}{n}}$=> Vandermond에 의해 1로 수렴한다.

CDF

=>$P(X\leq x)$

• 연속분포의 경우(continuous)
  
  x가 작아지면 일어날 사건의 확률이 작아지고 커지면 일어날 사건의 확률이 커진다? => 직관적으로 x가 160cm이면 이것보다 작은 사건들만 발생 x가 180cm이면 이만큼 더 많은 사건들이 발생할 수 있으니까 확률이 커진다고 하는 것 같다.

• 이산분포의 경우(discrete)
  
  이산 분포의 경우는 각 특정한 값에 대응하는 사건의 확률이 있으니까 이렇게 그려진다고 생각한다.(Ex. 주사위 던지기)