Probability Models and Axioms

Set

• collections of objects
  • x가 S의 원소일 경우 $x\in S$
  • x가 S의 원소가 아닐 경우 $x\notin S$
• Empty set $\phi$ : 원소가 없는 집합
• Universal set $\Omega$ : 모든 원소를 가진 집합
• Finite set
• Infinite set
  • Countable infinite set
  • Uncountable infinite set
• Subset
  • $S \sub T$ : S의 모든 원소가 T에도 존재
  • $S \sub T \ and \ T \sub S$ 이면 S = T
• Other basics : 생략

Probabilistic Models

• Probabilistic model : 어떤 experiment에서 uncertain situation에 대한 수학적 해석
• Elements of a probabilistic model
  • Sample space $\Omega$ : experiment에서 나올 수 잇는 모든 가능한 결과들의 집합
  • Probability law : outcome의 set인 “event”에 nonnegative number인 “probability”를 매핑하는 rule 또는 function

Sample space

• must be…
  • mutually exclusive
  • collectively exhaustive
  • at the “rigtht” granularity
• can be discrete or continuous
• can be finite or infinite

Probability law and axioms

• Event : a subset of the sample space
• Probability law : 모든 Event A에 P(A)를 assign하는 function으로 생각할 수 있다.
• 3 axioms of probability
  1. Nonnegativity : $P(A) \ge 0$
  2. Normalization : $P(\Omega ) = 1$
  3. Additivity : $A \cap B = \phi$ , then $P(A\cup B) = P(A) + P(B)$
• Probability law from aximos
• 각 확률법칙 증명해보기

Measurement of probability

• Discrete uniform probability : $\Omega$가 n개의 같은 확률의 element로 구성되어 있다고 하면, 또 A가 k개의 element로 구성되어 있다고 하면 P(A) = k/n으로 계산할 수 있다.
• Continuous probability : relatvie area의 면적으로 계산할 수 있다.

Probability calculation steps

1. Specify the sample space
2. Specify a probability law
3. Identify an event of interest
4. Calculate the probability of the event of interest

Countable additivity axiom

• additivity axiom을 “countable infinite sequence”에 대해 확장 할 수 있다.

The role of probability theory

• non-deterministic한 outcome을 분석할 수 있는 framework 제공
• prediction(estimation) 그리고 decision(classification)에 이용됨