Ch2_확률

표본공간과 사건

• 어떤 실험 또는 시행에서 일어날 수 있는 모든 가능한 결과의 집합을 그 시행에 의한 표본공간(sample space)라고 하고, 표본공간의 임의의 부분집합을 사건(event)라고 한다.
• 표본공간을 구성하는 개개의 원소를 **표본점(sample point)라 한다.
• 표본공간의 부분집합 중에서 한 원소만으로 이루어진 사건 {$w_1$}, {$w_2$}, ... {$w_n$}을 근원사건(elementary event) 이라 하고, 표본공간의 모든 원소를 포함하는 사건을 전사건(certain event) 이라 하며 $\Omega$ 표기
• 표본점을 하나도 포함하지 않는 사건을 공사건(empty event) 이라 하고$\varnothing$ 으로 표기

이산 표본공간과 연속 표본공간

• 표본공간에 속하는 원소가 유한개인 경우 또는 비록 원소 개수가 무한히 많지만 수학적으로 셀 수 있는(countable) 경우, 이산 표본공간(discrete sample space) 라고 한다
  • ex : 주사위를 던지는 확률실험에서의 관측값, 어떤 공정에서 발생하는 불럄품 개수등의 집합
• 표본공간에 속하는 원소가 실수 구간들로 이루어진 경우와 같이 수학적으로 셀 수 없는(uncountable) 경우, 연속 표본공간(continuous sample space) 라고 한다
  • ex : 어떤 공정에서 처음으로 불럄품이 관측되는 시각, 전구의 평균 수명 등의 집합

사건의 연산

합사건 (union event)

• 임의의 두 사건 A,B 중 적어도 한 사건이 일어나는 사건을 A와 B의 합사건이라 한다.
  $A \cup B = \{w \mid w \in A \text{ 또는 } w \in B\}$

곱사건 (product event)

• 임의의 두 사건 A,B가 동시에 일어나는 사건을 A와 B의 곱사건이라 한다.
  $A \cap B = \{w \mid w \in A \text{ 그리고 } w \in B\}$

여사건 (complement event)

• 임의의 사건 A가 일어나지 않는 사건을 A의 여사건이라 한다.
  $A^c = \{w \mid w \notin A\}$

배반사건 (exclusive event)

• 임의의 두 사건 A와 B가 동시에 일어나지 않을 때, 즉 $A$ $\cap$ $B$ = $\varnothing$ 일 때 두 사건 $A$ ,$B$ 는 배반사건이다.
  $A \cap B = \varnothing$

사건의 연산법칙

교환법칙 (commutative law)

$A \cup B = B \cup A, \quad A \cap B = B \cap A$

결합법칙 (associative law)

$A \cup (B \cup C) = (A \cup B) \cup C, \quad A \cap (B \cap C) = (A \cap B) \cap C$

분배법칙 (distributive law)

$A \cap (B \cup C) = (A \cap B) \cup (A \cap C)$
$A \cup (B \cap C) = (A \cup B) \cap (A \cup C)$

드 모르간의 법칙 (De Morgan's law)

$(A \cup B)^c = A^c \cap B^c, \quad (A \cap B)^c = A^c \cup B^c$

확률

• 확률을 정의하는 방법에는 Laplace의 고전적 방법과 Kolmogorov의 확률의 공리에 의한 방법이 있다.

Laplace의 확률(수학적 확률)

• 일반적으로 1회의 시행에서 일어날 수 있는 경우의 수가 N인 표본공간에서 각 근원사건이 발생할 가능성이 같은 경우, 사건 A가 일어나는 경우의 수를 n이라 하면 사건 A의 확률은 다음과 같이 정의한다.
  P(A) = $\frac{n}{N}$
  

확률의 공리

• 시행을 반복하면 한 사건이 일어나는 상대도수가 일정한 극한 값에 수렴한다는 통계적 확률(경험적 확률)을 설명

• 각 근원사건이 일어날 가능성이 다른 경우와 주관에 따라 정하는 주관적 확률의 개념도 수용할 수 있는 확률의 공리(axiom of probability) 를 정의하였다
  

• 확률의 성질
  

통계적 확률과 기하하적 확률

---

Odds (교재에는 없음)

정의

사건 $A$가 일어날 확률이 $P(A)$일 때:

$\text{Odds}(A) = \frac{P(A)}{P(A^c)} = \frac{P(A)}{1 - P(A)}$

반대로 Odds에서 확률로 변환:

$P(A) = \frac{\text{Odds}}{1 + \text{Odds}}$

---

확률 vs Odds

	확률	Odds
범위	$0 \leq P \leq 1$	$0 \leq \text{Odds} < \infty$
표현	$0.2$	$1/4$ , $1 : 4$
의미	일어날 가능성	일어날 경우 vs 안 일어날 경우의 비
쓰임	일반적	도박, 의학, 로지스틱 회귀, 트레이딩

---

예시

주사위에서 1이 나올 확률:

$P(A) = \frac{1}{6}$

$\text{Odds}(A) = \frac{1/6}{5/6} = \frac{1}{5} \quad \rightarrow \text{"1 대 5"}$

---

Bayes' Rule과 Odds

베이즈 정리를 Odds 형태로 표현하면:

$\frac{P(A \mid B)}{P(A^c \mid B)} = \frac{P(B \mid A)}{P(B \mid A^c)} \times \frac{P(A)}{P(A^c)}$

$\underbrace{\text{Posterior Odds}}_{\text{사후 승산}} = \underbrace{\text{Likelihood Ratio}}_{\text{우도비}} \times \underbrace{\text{Prior Odds}}_{\text{사전 승산}}$

새로운 증거 $B$가 들어오면, Prior Odds에 Likelihood Ratio를 곱해서 Posterior Odds를 업데이트한다.

---

트레이딩 관점

• Kelly Criterion (최적 베팅 비율) 계산에 Odds 사용
• 새로운 정보(뉴스, 데이터)가 들어올 때마다 Odds를 업데이트 → 포지션 조정

---

조건부 확률 (Conditional Probability)

• 사건 B가 일어났다는 조건 아래에서 사건 A가 일어날 확률을 사건 B에 대한 사건 A의 조건부 확률(conditioinal probability)라 하며 $P(A|B)$ 한다

• $P(A|B)$ = $\frac{P(A\cap B)}{P(B)}$ , $P(B) \neq 0$ -> $P(B) > 0$
  

조건부 확률의 공리

$P(A|B) \neq P(B|A)$ 일 수 있다.

곱셈정리 (multiplication theorem)

• 조건부 확률의 정의 이용하여 '사건 B가 일어났을 때, 사건 A가 일어날 확률' 과 '사건 A가 일어났을 때, 사건 B가 일어날 확률'은 다음과 같다

• $P(A|B)$ = $\frac{P(A\cap B)}{P(B)}$ , $P(B) > 0$

• $P(B|A)$ = $\frac{P(A\cap B)}{P(A)}$ , $P(A) > 0$
  이 두 식을 정리하면 다음과 같은 곱셈정리를 얻을 수 있다.
  $P(A \cap B) = P(B)P(A|B) = P(A)P(B|A)$

일반적으로 사건 $A_1$, $A_2$, ... $A_n$에 대하여 다음이 성립한다.
$P(A_1 \cap A_2 \cap \cdots \cap A_n) = P(A_1)\, P(A_2 \mid A_1)\, P(A_3 \mid A_1 \cap A_2) \cdots P(A_n \mid A_1 \cap A_2 \cap \cdots \cap A_{n-1})$

독립 사건 (Independent of events)

• 두 사건 A,B에 대하여 어느 한 사건이 일어나는데 다른 사건이 아무런 영향을 미치지 않는다면, 두 사건 A, B 는 서로 독립(Independent) 라고 하고 다음과 같이 정의 한다.
  $P(A) = P(A|B)$ 또는 $P(B) = P(B|A)$ 따라서 두 사건 A,B가 독립사건이면 곱셈정리에 의해 다음과 같이 쓸 수 있다
  $P(A \cap B ) = P(A)P(B|A) = P(B)P(A|B) = P(A)P(B)$

A,B 독립인 경우 여사건에 경우도 성립한다.

A,B,C 가 독립인 경우 성립한다.

조건부 독립 (Conditional independence) (교재에는 없음)

$P(A \cap B | E) = P(A|E)P(B|E)$

• E가 주어졌을 때, A와 B가 서로 아무관계 없음

• 핵심차이

	독립	조건부 독립
의미	무조건 독립	E 아래에서만 독립
성립 조건	항상	E 가 주어졌을 때

• 독립 ≠ 조건부 독립, 즉:

독립이어도 조건부 독립이 아닐 수 있음
조건부 독립이어도 독립이 아닐 수 있음

• 직관적 예시
  A: 내가 우산을 챙김
  B: 친구가 우산을 챙김
  C: 오늘 비가 옴

A와 B 독립 (서로 모름)
근데 C(비)가 주어지면? → 둘 다 우산 챙길 확률이 높아지므로
조건부 독립이 아님!

반대로 C를 모를 때는 독립이지만, C를 알면 연관이 생기는 것

복원추출과 비복원추출

베이즈 정리 (Bayes' Rule)

• 공집합이 아닌 어떤 집합 A에 대하여 집합 A의 부분집합 $A_1$ , $A_2$, ... ,$A_n$ 을 원소로 하는 집합족(family of set) 이 다음을 만족할 때, {$A_1$ , $A_2$, ... ,$A_n$}을 집합 A의 분할(Partition) 이라 한다.
  

• 베이즈 정리에서 $P(A_i)$ 를 사건 $A_i$ 의 사전확률 (piror probability) 라 하고 $P(A_i |B)$를 사건 $A_i$ 의 사후확률 (posterior probability) 라 한다.

Coherency of Bayes' Rule (수업 교재에는 없음)

베이즈 정리는 일관성(coherency) 이 있다.

증거(데이터)를 업데이트하는 순서가 달라도 최종 결과가 같다

---

• 예시

데이터 $D_1$, $D_2$ 를 순서대로 관찰할 때

방법 1: $D_1$ 먼저 → $D_2$ 나중에 업데이트
$P(A) \xrightarrow{D_1} P(A \mid D_1) \xrightarrow{D_2} P(A \mid D_1 \cap D_2)$

방법 2: $D_2$ 먼저 → $D_1$ 나중에 업데이트
$P(A) \xrightarrow{D_2} P(A \mid D_2) \xrightarrow{D_1} P(A \mid D_1 \cap D_2)$

방법 3: 한꺼번에 업데이트
$P(A) \xrightarrow{D_1 \cap D_2} P(A \mid D_1 \cap D_2)$

→ 세 방법 모두 결과가 같다!

Conditioning as a Problem-Solving Tool

복잡한 확률 문제를 조건을 걸어서 단순한 부분으로 쪼개라

---

• 기본 공식

$P(B) = P(B \mid A)P(A) + P(B \mid A^c)P(A^c)$

• 전확률 공식 (LOTP, Law of Total Probability)

$P(B) = \sum_{i=1}^{n} P(B \mid A_i)P(A_i)$

---

풀이 전략

직접 $P(B)$ 구하기 어려울 때:

1. 적절한 조건 $A$ 를 설정
2. $P(B \mid A)$, $P(B \mid A^c)$ 는 쉽게 구함
3. 합쳐서 $P(B)$ 계산

---