확률

Wackerly et al., Mathematical Statistics with Applications을 읽고
책 내용을 정리하였습니다.

2.1 서론

확률(probability)

미래 사건의 발생에 관한 믿음의 척도

확률 사건

일련의 오랜 시행에서 그들이 발생하는 상대도수가 대체적으로 안정적인 사건

2.2 확률과 추론

2.3 집합 기호의 검토

집합

• 집합 $A$에 있는 원소들이 $a_1, a_2, a_3$면 다음과 같이 나타냄
  $A = \{a_1, a_2, a_3\}$

전체집합(universal set)

• 고려하는 모든 원소들의 집합

부분집합(subset)

• 임의의 두 집합 $A, B$에 대해 $A$에 있는 모든 원소들이 $B$에도 있으면 $A$는 $B$의 부분집합
• $A \subset B$로 표시

공집합(empty set)

• 원소를 하나도 포함하지 않는 집합
  -> 모든 집합의 부분집합
• $\emptyset$으로 표시

합집합(union)

• $A$와 $B$의 합집합(union)은 $A$에 속하거나 또는 $B$에 속하거나 또는 두 집합에 모두 속하는 점들의 집합
• $A \cup B$로 표시

교집합(intersection)

• $A$와 $B$의 교집합(intersection)은 $A$와 $B$에 모두 속하는 모든 점들의 집합
• $A \cap B$로 표시

여집합(complement)

• $A$가 $S$의 부분집합이면 $\bar{A}$은 $A$의 여집합(complement)를 나타냄
• $A$에는 속하지 않는 $S$의 원소들의 집합
• $A \cup \bar{A} = S$

상호배반(disjoint)

• 상호 배반인 집합은 공통 원소를 갖지 않음
• $A \cap B = \emptyset$

분배법칙(distributive law)

• $A \cap ( B \cup C) = (A \cap B) \cup (A \cap C)$
• $A \cup ( B \cap C) = (A \cup B) \cap (A \cup C)$

드모르간의 법칙(DeMorgan's law)

• $(\overline{A \cap B}) = (\bar{A} \cup \bar{B})$
• $(\overline{A \cup B}) = (\bar{A} \cap \bar{B})$

2.4 실험에 대한 확률모형 : 이산인 경우

실험(experiment)

• 관측값을 생성하는 과정
• 사건(event)이라고 하는 하나 이상의 기본결과가 발생
  • 복합사건(compound event)
    다른 사건들로 분해될 수 있는 사건
  • 단순사건(simple event)
    다른 사건들로 분해될 수 없는 사건

단순사건(simple event)

• 분해될 수 없는 사건
• 각 단순사건은 오직 하나의 표본점 $E$에 대응
• $E$로 나타냄

표본공간(sample space)

• 모든 가능한 표본점(단순사건)들로 구성된 집합
• $S$로 나타냄

이산표본공간(discrete sample space)

• 유한개이거나 셀 수 있는 서로 다른 표본점들을 포함하는 표본공간

사건(event)

• 이산표본공간 S에 속하는 사건(event)은 표본점들의 모임인 $S$의 임의의 부분집합

확률(probability)

• $S$는 실험과 관련된 표본공간
• $S$에 속한 모든 사건 $A$에 대해 다음 공리를 만족하는 $A$의 확률 $P(A)$ 할당
  • 공리 1 : $P(A) \geq 0$
  • 공리 2 : $P(S) = 1$
  • 공리 3 : $A_1, A_2, A_3, ...$가 $S$에 속하는 상호배반인 사건이면 다음이 성립
    $P(A_1 \cup A_2 \cup A_3 \cup ...) = \sum_{i=1}^\infin P(A_i)$

2.5 사건의 확률 계산 : 표본점 방법

2.6 표본점들을 집계하는 방법

mn법칙

• $m$개의 원소 $a_1, a_2, ..., a_m$과 $n$개의 원소 $b_1, b_2, ... b_n$이 있을 때,
  각 그룹에서 한 개씩 원소를 포함하는 쌍은 $mn = m \times n$개를 구성할 수 있음
• 집합의 개수가 여러 개인 경우에도 확장 가능
  -> 집합이 3개인 경우 3번째 집합에 p개의 원소 $c_1, c_2, .. c_p$가 존재할 때 $mnp$
  

순열(permutation)

• 서로 다른 r개 대상물의 순서화된 배열

• n개의 서로 다른 대상물에서 순서를 고려하여 r개를 택하는 방법의 수는 $P_r^n$으로 나타냄

  $P_r^n = n(n-1)(n-2)...(n-r+1) = \frac{n!}{(n-r)!}$

다항계수(multinomial coefficient)

• n개의 서로 다른 대상물을 각각 $n_1, n_2, ..., n_k$개의 대상물을 포함하는 k개의 서로 다른 그룹으로 분할하는 방법의 수는 다음과 같음
  • 이 때 각 대상물은 정확히 한 그룹에만 나타나고 $\sum_{i = 1}^k n_i = n$
  • $N = \dbinom n{n_1 n_2 ... n_k} = \frac{n!}{n_1!n_2!...n_k!}$

조합(combination)

• n개의 대상물에서 한 번에 r개를 택함
• n개의 대상물로부터 구성할 수 있는 각각 크기가 r인 부분집합의 수
• $C_r^n$ 또는 $\dbinom n{r}$로 표시
• $\dbinom n{r}= C_r^n = \frac{P_r^n}{r!} = \frac{n!}{r!(n-r)!}$
  -> $\dbinom n{r}$ 은 이항전개(binomial expansion)에서 나타나기 때문에
  이항계수(binomial coefficient)라고 함

2.7 조건부확률과 사건들의 독립

조건부 확률(conditional probability)

• 사건 B가 발생했다는 조건이 주어졌을 때,
  사건 A의 조건부확률(conditional probability)은 $P(B) > 0$ 이면, 다음과 같음
  $P(A|B) = \frac{P(A \cap B)}{P(B)}$

  -> $P(A|B)$는 $B$가 주어졌을 때 $A$의 확률
  

독립(independent)

• 다음 중 어느 하나가 성립되면, 두 사건 A와 B가 독립(independent)
  • $P(A|B) = P(A)$
  • $P(B|A) = P(B)$
  • $P(A \cap B) = P(A)P(B)$
• 그렇지 않으면 종속(dependent)

2.8 두 가지 확률법칙

확률의 곱셈법칙

• 두 사건 $A$와 $B$의 교사건의 확률은 다음과 같다
  $P(A \cap B) = P(A)P(B|A) = P(B)P(A|B)$
• $A$와 $B$가 독립이면
  $P(A \cap B) = P(A)P(B)$

확률의 덧셈법칙

• 두 사건 $A$와 $B$의 합사건의 확률은 다음과 같다
  $P(A \cup B) = P(A) + P(B) - P(A \cap B)$
• $A$와 $B$가 상호배반 사건이면
  • $P(A \cap B) = 0$
  • $P(A \cup B) = P(A) + P(B)$

2.9 사건의 확률 계산 : 사건-합성 방법

2.10 총확률의 법칙과 베이즈 법칙

총확률의 법칙

• 어떤 양의 정수 k에 대해, 집합들 $B_1, B_2, ..., B_k$가
  - $S = B_1 \cup B_2 \cup ... \cup B_k$
  - $i \neq j$에 대해 $B_i \cap B_j = \varnothing$
  면, 집합들의 모임 ${B_1, B_2, ..., B_k}$을 S의 분할(partition)이라 함
• ${B_1, B_2, ..., B_k}$가 $S$의 분할(partition)로 $i = 1,2, ..., k$에 대해 $P(B_i) > 0$이면
  임의의 사건 $A$에 대해 다음이 성립
  $P(A) = \sum_{i=1}^k P(A|B_i)P(B_i)$

베이즈의 법칙

• ${B_1, B_2, ..., B_k}$가 $S$의 분할(partition)로 $i = 1,2, ..., k$에 대해 $P(B_i) > 0$이면
  $P(B_j|A) = \frac{P(A|B_j)P(B_j)}{\sum_{i=1}^k P(A|B_i)P(B_i)}$

2.11 수치적인 사건과 확률변수

수치적인 사건

숫자로 확인되는 사건

확률변수(random variable)

• $Y$가 실험에서 측정될 수 있는 변수라 할 때 실험 결과에 따라 달라지는 변수
• 정의역이 표본공간인 실숫값 함수

2.12 확률표집

비복원추출

원소들의 모든 쌍이 선택될 확률이 같도록 하여 표본 추출

복원추출

한 개의 원소를 선택 후 모집단에 되돌려 넣은 후 다시 한 개의 원소를 추출

확률표본(random sample)

$N$과 $n$을 각각 모집단과 표본에 속하는 원소들의 개수라 할 때 $\dbinom N{n}$개의 표본들 각각 선택될 확률이 같도록 표본추출이 이루어지면, 이러한 표본추출은 무작위(random)라 하고, 그 결과는 확률표본(random sample)이라 한다.

2.13 요약