확률 이론, 확률분포의 개념

확률의 정의

• 상대빈도 정의 (relative frequency definition) : 실험을 무한에 가깝게 시행했을 때, 전체 시행횟수에서 그 사건이 나타나는 빈도수를 상대적으로 나타낸 것을 확률로 정의한다.

  $P(A) = \lim_{N \to \infty} {n\over N}$

  $N$ : 전체 시행 횟수
  $n$ : 사건 A가 발생한 횟수

  ---

• 동등발생정의 (equally likey definition) : 어떤 실험이나 관찰로 나타날 수 있는 모든 경우들이 각각 동일한 가능성을 가지고 발생할 것이라는 가정하에서 특정 사건이 일어날 확률을 정의한다

  $P(A) = A / N$

  $A$ : 사건 A에 속하는 경우의 수
  $N$ : 발생할 가능성이 동일한 전체 경우의 수

  • 동등발생정의에 입각한 확률은 모든 경우 중에서 특정 경우가 차지하는 비율과 같은 의미를 갖는다.

기본 확률 법칙

• 배타적 사건 (배반사건, Mutually Exclusive Events): 동시에 일어날 수 없는 사건들

  • 주사위를 던졌을 때 결과가 3이 나오는 사건과 5가 나오는 사건은 배타적이다.

  $P(A\cap B) = \varnothing$

• 확률의 덧셈법칙

  $P(A\cup B)=P(A)+P(B)-P(A\cap B)$

  • 배타적 사건의 경우 $P(A\cup B)=P(A)+P(B)$

---

• 조건부 확률 (conditional probability) : 어떤 사건이 일어날 조건하에 다른 사건이 일어날 확률. 특정 사건이 이미 발생했다는 정보가 주어졌을 때, 그로 인해 변화된 표본 공간에서 다른 사건이 일어날 확률을 의미한다.

  $P(A|B) = {P(A\cap B)\over P(B)}$

  

---

• 확률의 곱셈법칙

  • 독립사건 (independent event) : 한 사건의 발생 여부가 다른 사건의 발생에 영향을 미치지 않는 경우를 의미한다. => 복원추출

    $P(A\cap B) = P(A)\cdot P(B)$

    독립사건일 경우 조건부확률은 아래와 같다.

    $P(A|B)={P(A)P(B)\over P(B)}=P(A)$
    $P(B|A)={P(A)P(B)\over P(A)}=P(B)$

  • 종속사건 (dependent event) : 한 사건의 발생 여부가 다른 사건의 발생에 영향을 미치는 경우를 의미한다. => 비복원추출

    $P(A\cap B) = P(B)P(A|B) = P(A)P(B|A)$

---

기본 확률 법칙의 활용

• 베이즈 정리 (Bayes' theorem) : 사전에 알고 있는 정보에 기준을 두고 어떤 사건이 일어나게 될 확률을 계산하는 귀납적 추론 방법

  • A를 불확실성을 계산해야 하는 대상, B를 관측하여 값을 알아낼 수 있는 대상으로 생각하자.

  • B가 관측된 후 A의 확률은 $P(A)$에서 $P(A|B)$로 변화하며, 베이즈 정리는 이 변화를 계산하는 방법을 제공한다.

    $P(A|B)={P(B|A)P(A)\over P(B)}$

    변수	설명	용어
    $P(A)$	사건 B에 관한 어떠한 정보도 알지 못하는 상태에서 A의 확률	Prior Probability
    $P(A$|$B)$	사건 B가 발생한 조건에서 사건 A가 발생할 확률	Posterior Probability
    $P(B$|$A)$	사건 A가 발생한 조건에서 사건 B가 발생할 확률	Likelihood
    $P(B)$	사건 B의 전체 확률	Evidence

---

• 베이즈 정리의 유도

  조건부 확률 : $P(A|B) = {P(A\cap B)\over P(B)}$

  곱셈 공식에 의해 아래와 같이 표현 가능하다.

  $P(A|B) = {P(A|B)P(B)\over P(B)} = {P(B|A)P(A)\over P(B)}$

---

• 베이즈 정리의 활용

  • 실험의 결과로 얻은 정보를 토대로 하여 어떤 사건의 알려져 있지 않은 확률을 간단하게 구할 수 있다.

  • 어떤 질병에 대한 테스트 결과(B={P, N})를 통해 그 질병에 걸렸을 확률(A={TP, TN})을 업데이트하려는 경우 베이즈 정리를 활용할 수 있다.

    $P(A)$ : 질병에 걸릴 확률 = $TP \over(TP + TN)$

    $P(B|A)$ : 질병이 있을 때 테스트가 양성일 확률 = ${P(B\cap A)\over P(A)}$

    $P(B)$ : 테스트가 양성일 확률 = ${P \over (P+N)}$

    $P(A|B)$ : 테스트 결과가 양성일 때 실제로 질병에 걸렸을 확률 = $P(B|A)P(A)\over P(B)$

확률분포

• 표본 공간(sample space) : 나타날 수 있는 모든 가능한 사건의 집합

  • ex1) 동전을 한 개 던지는 행위의 표본공간 : S = {H, T}

  • 통계학적 방법을 이용할 때는 사건을 수치로 인코딩하여 사용하게 되며, 그 방식은 자유롭다

    • ex2) 앞면일 경우 +500원, 뒷면일 경우 -1000원인 내기의 표본공간 : S = {500, -1000}

---

• 확률변수 (random variable) : 일정한 확률을 가지고 발생하는 사건에 수치를 부여한 것

  • ex1) X = 앞면이 나타나는 횟수 : $P(X=H) = 0.5$
  • ex2) X = 돈을 잃는 횟수 : $P(X=-1000) = 0.5$

• 확률 분포 (probability distribution) : 어떤 확률 변수가 취할 수 있는 모든 값(표본 공간의 모든 값)과 이 값들이 나타날 확률을 대응 관계로 표시 한 것

  • ex3) 동전을 두 번 던질 때의 확률분포 (X = 앞면이 나오는 횟수)

    $X_i$	$P(X_i)$
    0	1/4
    1	1/2
    2	1/4

---

• 이산 확률변수 (discrete random variable) : 확률변수가 취할 수 있는 값의 수가 유한하거나 셀 수 있는 확률변수

  • ex) 동전 n회 던지기 -> 확률변수가 0에서 n까지의 정수로 제한된다

  • 확률 함수 : 확률 질량 함수 (Probability Mass Function, PMF)

    • PMF : $P(X=x) = p(x)$

    • PMF의 조건

      • $p(x) \geq 0\;\;for\;\forall x\in S$
      • $\sum_x p(x) =1$

---

• 연속 확률변수 (continuous random variable) : 확률변수가 취할 수 있는 값이 실수로서, 그 수가 무한한 확률변수

  • ex) 성인의 체중 -> 어느정도 범위는 있지만 그 안에서 수없이 많은 실수 측청치를 가질 수 있다.

  • 확률 함수 : 확률 밀도 함수 (Probability Density Function, PDF)

    • PDF ($f(x)$): 연속형 확률변수가 특정 구간 내에 존재할 확률을 설명하는 함수. 연속형 확률변수의 분포를 식으로 표현한 것을 의미한다.

    • 특징

      • 특정 구간에 속할 확률 : $P(a \geq X \geq b) = \int_{a}^{b} f(x) dx$
      • 특정한 값 $X_i$가 발생할 확률은 0이다 : $P(X_i) = 0$

    • 조건

      • $f(x) \geq 0\;\;for\;\forall x\in \mathbb{R}$
      • $\int_{-\infty}^{\infty} f(x)dx =1$

---

• 기댓값 (expected value) : 확률분포의 중심경향을 나타내는 값. 확률변수가 취할 수 있는 모든 값들의 평균을 의미한다.

  • $E(X) = \sum X_iP(X_i)$

  • 기댓값의 특성

    • $E(aX) = aE(X)$
    • $E(X + b) = E(X) + b$

• 분산 (variance) : 확률분포의 분산도

  • $Var(X)=\sum[X_i-E(X)]^2 * P(X_i) \\=E[(X-E(X)^2)]\\=E(X^2)-E(X)^2$
  • 분산의 특성
    • $Var(aX) = a^2Var(X)$
    • $Var(X+b) = Var(X)$

---

• 결합확률분포 (joint probility distribution) : 두 개 이상의 확률변수가 관련된 확률분포

  • 이산형 결합확률분포 : 이산형 확률변수로만 이루어진 결합확률분포
    • $P(X=x, Y=y)=p(x,y)$
  • 연속형 결합확률분포 : 연속형 확률변수로만 이루어진 결합확률분포
    • $f(x,y) = f_{X,Y}(x,y)$
  • 혼합형 결합 확률 분포 : 이산형과 연속형이 섞여있는 결합확률분포
    • $P(X=x,Y\in A)=\int_A f_{X,Y}(x,y)$

• 주변확률분포 (marginal probability distribution) : 결합분포에서 하나의 확률변수만의 확률분포를 의미한다

• 공분산 (Covariance) : 결합확률분포의 분산

  • $Cov(X, Y) = E[X-E(X)]E[Y-E(Y)]\\=E(XY)-E(X)E(Y)$