확률의 정의

빈도주의 관점

• 확률 = 상대적 빈도(relative frequency)의 극한 = $\frac{관심있는 사건 발생 횟수}{전체 시행 횟수}$ 의 극한

• 동일한 시행을 무한히 반복했을 때의 빈도(long-run frequency)

• 랜덤 사건 (random event)의 확률 설명 가능

  • Ex. 동전 던지기, 주사위 던지기, 카드 뽑기
    

• 한계가 존재함.

  • Ex. 다음 대선에 바이든이 재선에 성공할 확률?
    (동일한 조건에서 선거를 무한히 반복?)
  • 무한 반복X, 빈도 계산X
    -> 확률 계산 불가능

• 인식론적 불확실성(epistemic uncertainty) 설명
  -> 새로운 확률 정의 필요

베이지안 관점

• 확률 = 믿음의 정도 (degree of belief)
• Ex. 내일 비가 올 확률은 30%밖에 안돼
• Ex. 90%의 가능성으로 A를 받을거라 믿어
• 다양한 상황에 확률을 부여하는 믿음의 수량화(quantify)
• 불확실성 측정의 도구(measure of uncertainty)

베이즈 정리(Bayes' Theorem)

• 사전 확률 : 사전 지식
• 가능도 : 가설(H)이 데이터(D)를 지지할 가능성(=지지도)
• 사후 확률 : 데이터로 업데이트된 확률, 신뢰도
• 증거 : 데이터의 확률(상수)

• 데이터의 획득으로 사전 확률이 어떻게 사후 확률로 업데이트 되는 지에 대한 정리
• 데이터는 가능도를 통해 사후 확률에 영향을 준다
• 확률을 업데이트해 나가며 실제 현상에 대한 추론 가능

어떤 불확실한 상황도 확률로 수량화 가능(quantification of uncertainty)

베이즈 추론 예시

• 첫 번째 주머니를 택했을 확률이 50%, 첫 번째 주머니를 택했을 확률이 세 번째 주머니를 택했을 확률보다 3배 크다.
• 즉, 사전에는 주머니를 택했을 확률이 동일했으나 빨간색 공을 뽑으면서 첫 번째 주머니를 택했을 확률이 월등히 높아짐.

베이즈 추론(Bayesian Inference)

• 데이터가 사전 확률을 사후 확률로 업데이트
• 새로운 데이터 반영의 용이함, 여러 출처의 정보를 결합하는 능력
• 사전 분포 적용을 통해 기존 지식의 통합 가능
  • 모수 공간을 줄이는 효과
• 데이터를 직접 반영하여 사후 분포를 구성
• 모수가 많고 복잡한 모델까지 추론 가능
  

베이즈 추론 적용: 칼만 필터(Kalman Filter)

• 칼만 필터 : 측정값이 오차항을 포함하는 경우 실제 상태를 추정하는 알고리즘
  • Ex. 자동차, 비행기의 위치, 속도 측정
  • Ex. 측정 위치 : 38 N $\neq$ 실제 위치 : 37 N

• 베이즈 정리를 각 시점마다 반복적으로 적용하여 현재 상태 $x_{t}$를 추론
• 예. GPS를 통한 자동차의 위치 측정
  . $x_{1}, x_{2}, ... x_{t}$ : 각 시점마다(ex. 1분 마다) 자동차의 실제 위치
  . $y_{1}, y_{2}, ... y_{t}$ : 각 시점마다 GPS에 의해 관측된 위치
  

베이즈 추론 적용 : 몬티홀 문제

문제 정의

• 3개의 문 A, B, C번 중에 각 문에 차가 있는 사건을 $A, B, C$라고 하자
• 아무 정보가 없는 상황에서의 사전 확률은 다음과 같이 동일할 것이다. $P(A)=P(B)=P(C)=\frac{1}{3}$
• 사회자가 C번 문 하나를 열어서 차가 없는 경우를 보여 주는 사건을 $D$라고 하자
• 구하고 싶은 값은 우리가 A번 문을 고른 상황에서 사건$D$가 일어났을 때 A번 문을 골라 차가 있을 확률 $P(A|D)$와 바꿔서 B번 문을 골라 차가 있을 확률 $P(B|D)$를 구하는 것이다.

풀이

베이즈 추론에 따라 식을 전개 해보면 아래와 같다.

• 이때, A에 차가 있는 사건일 때 사회자가 C문을 열어주는 사건의 확률 $P(D|A)$는 B나 C문을 열어주면 되므로 $P(D|A)=\frac{1}{2}$
• B에 차가 있는 사건일 때, 사회자가 C문을 열어주는 사건의 확률 $P(D|B)$는 사회자에게 C문의 선택지밖에 없으므로 $P(D|B)=1$
• C에 차가 있는 사건일 때, 사회자가 C문을 열어주는 사건의 확률 $P(D|C)$는 사회자에게 어떤 선택지도 없으므로 $P(D|C)=0$

위의 값을 대입하여 계산해보자

정리하자면, D의 사건이 일어났을 때, 처음 선택한 A의 문을 유지하는 경우 차가 있을 확률은 그대로 $\frac{1}{3}$, B의 문으로 바꾸는 경우 차가 있을 확률은 $\frac{2}{3}$ 로 무조건 바꾸는 경우가 그대로 유지하는 것보다 차를 얻을 확률이 2배 더 크다고 할 수 있다.