4-1. Bayes' Theorem

Bard·2023년 3월 26일

Advanced Mathematics for AI

목록 보기

16/20

본 글은 K-MOOC의 인공지능 수학 고급(Advanced Mathematics for AI) 강의를 듣고 요약한 글입니다.

Random Experiment는 에측할 수 없는 결과들의 집합니다.

이러한 Random Experiment의 결과를 Outcome이라고 부른다.

이러한 Outcome들의 집합을 Event라고 부른다.

또한 모든 가능한 Outcome들의 집합을 Sample Space 라고 부른다.

주사위 굴리기의 경우 Sample Space $S$ 는 다음과 같을 것이다.

S=\{1,2,3,4,5,6\}

$P(A)$ 는 이벤트 $A$ 가 일어날 확률이다.

이때 확률에 대한 공리(Axiom)가 있다.

임의의 이벤트 $A$ 에 대해 $P(A) \ge 0$ 이다.
Sample space $S$ 의 확률은 $1$ 이다.
셀 수 있는 분리된 이벤트들의 합집합의 확률은 각각의 이벤트들의 확률을 더한 것과 같다. $P(A_1\bigcup A_2\bigcup \ldots) = P(A_1) + P(A_2) + \ldots$

$P(B) > 0$ 일 때, B가 이미 일어났을 때 A도 일어날 확률, 즉 B에 대한 A의 조건부 확률은 다음과 같다.

P(A | B) = \frac {P(A\bigcap B)} {P(B)}

이런 조건부확률의 정의에 따라 다음과 같은 식을 얻을 수 있다.

Event

P(A | B) = \frac {P(A\bigcap B)} {P(B)} \\\,\\ =\frac {P(A\bigcap B)} {P(A\bigcap B) + P(A^C\bigcap B)} \\\,\\ =\frac {P(B | A)P(A)} {P(B | A)P(A) + P(B | A^C)P(A^C)}

Discrete random variable

P(X=x|Y=y) = \frac {P(Y=y | X=x)P(X=x)} {\sum_t P(Y=y | X=t)P(X=t)}

Continuous random variable

f_{x|y}(x|y) = \frac {f_{y|x}(y |x)f_x(x)} {\int f_{y|t}(y | t)f_x(t)dt}

Bard

The Wandering Caretaker