21일차 인공지능 기초수학3

차지예·2025년 6월 12일

개발자 생성형AI 순열 조합 확률

생성AI

목록 보기

18/56

확률통계 & 주성분분석(PCA) 완전 정리

1. 순열(Permutation)과 조합(Combination)

🔹 순열 (Permutation)

순열은 서로 다른 n개의 항목 중 r개를 뽑아 순서를 고려하여 배열하는 경우의 수를 말합니다.
즉, 같은 항목이라도 순서가 다르면 다른 경우로 봅니다.

예: A, B, C 중 2개를 순서 있게 뽑을 경우 → AB, BA, AC, CA, BC, CB (총 6가지)

수식:

P(n, r) = \frac{n!}{(n - r)!}

🔹 조합 (Combination)

조합은 서로 다른 n개의 항목 중 r개를 뽑되, 순서를 고려하지 않고 선택하는 경우의 수를 말합니다.
즉, AB와 BA는 같은 조합으로 간주합니다.

예: A, B, C 중 2개를 뽑을 경우 → AB, AC, BC (총 3가지)

수식:

C(n, r) = \binom{n}{r} = \frac{n!}{r!(n - r)!}

2. 조건부확률 (Conditional Probability)

조건부 확률은 어떤 사건 A가 이미 일어났다는 조건 하에 다른 사건 B가 일어날 확률을 의미합니다.

공식:

P(B|A) = \frac{P(A \cap B)}{P(A)}

예: 전체 인구 중 40%가 비를 맞고, 그중 30%가 우산을 쓰고 있었다면,
‘비를 맞은 사람 중 우산을 쓴 사람의 확률’은 $0.3 / 0.4 = 0.75$ 가 됩니다.

3. 베이즈 정리 (Bayes’ Theorem)

베이즈 정리는 조건부 확률의 방향을 반대로 계산할 수 있도록 도와주는 정리입니다.

공식:

P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)}

예: 질병 A가 유병률 1%를 가지고 있고, 해당 질병 검사에서 양성일 확률이 95%일 때,
실제로 양성이 나왔을 때 질병일 확률은 위 공식을 통해 계산할 수 있습니다.

4. 기댓값, 분산, 표준편차

🔹 기댓값 (Expected Value)

확률 변수의 평균적인 값, 즉 가중평균입니다.

E[X] = \sum x_i \cdot P(x_i)

🔹 분산 (Variance)

기댓값으로부터 데이터가 얼마나 떨어져 있는지를 나타냅니다.

Var(X) = E[(X - E[X])^2] = E[X^2] - (E[X])^2

🔹 표준편차 (Standard Deviation)

분산의 제곱근으로, 실제 단위와 동일하므로 직관적인 해석이 가능합니다.

\sigma = \sqrt{Var(X)}

5. 확률밀도함수 (PDF, Probability Density Function)

연속확률변수에서는 특정 점에서의 확률이 0입니다. 대신 구간의 확률을 면적으로 계산합니다.

P(a \leq X \leq b) = \int_a^b f(x) dx

PDF는 반드시 아래 조건을 만족해야 합니다:

$f(x) \geq 0$ for all $x$
$\int_{-\infty}^{\infty} f(x) dx = 1$

6. 베르누이 분포 (Bernoulli Distribution)

시행이 한 번만 이루어지고 결과가 성공(1) 또는 실패(0) 두 가지로만 나오는 확률 분포
성공 확률: $p$ , 실패 확률: $1 - p$

확률질량함수(PMF):

P(X = x) = p^x (1 - p)^{1 - x}, \quad x \in \{0, 1\}

예: 동전 던지기에서 앞면이 나올 확률

7. 이항분포 & 포아송분포

🔹 이항분포 (Binomial Distribution)

베르누이 시행을 n번 반복했을 때, k번 성공할 확률
독립 시행, 성공 확률 p

P(X = k) = \binom{n}{k} p^k (1 - p)^{n - k}

🔹 포아송분포 (Poisson Distribution)

단위 시간/공간 내에 드문 사건이 몇 번 일어나는가를 모델링할 때 사용
평균 발생 횟수: $\lambda$

P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!}

8. 균등분포 (Uniform Distribution)

주어진 구간 내의 모든 값이 동일한 확률로 발생
연속 균등분포의 PDF:

f(x) = \frac{1}{b - a}, \quad a \leq x \leq b

예: 1부터 6까지 균등한 주사위가 있을 때

9. 정규분포 (Normal Distribution)

평균 $\mu$ 를 중심으로 대칭인 종모양 분포
자연현상, 시험 점수 등 많은 현상에서 나타남

f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{- \frac{(x - \mu)^2}{2\sigma^2} }

10. 표준정규분포 (Standard Normal Distribution)

평균 0, 표준편차 1인 특수한 정규분포
일반 정규분포를 아래 공식으로 변환

Z = \frac{X - \mu}{\sigma}

11. 지수분포 (Exponential Distribution)

사건 사이의 시간 간격을 모델링
$\lambda$ 는 단위 시간당 발생률

f(x) = \lambda e^{-\lambda x}, \quad x \geq 0

예: 다음 고객이 도착할 시간, 부품의 수명

12. 결합확률분포와 결합밀도함수

🔹 결합확률분포 (Discrete)

P(X = x, Y = y)

🔹 결합확률밀도함수 (Continuous)

f(x, y)

이를 통해 주변확률과 조건부확률도 계산 가능:

P(X = x) = \sum_y P(X = x, Y = y) \quad \text{(주변확률)}

P(X = x | Y = y) = \frac{P(X = x, Y = y)}{P(Y = y)} \quad \text{(조건부확률)}

13. 공분산, 상관관계, 공분산행렬

🔹 공분산 (Covariance)

두 변수 X, Y가 같이 증가하거나 감소하는 경향을 수치화

Cov(X, Y) = E[(X - \mu_X)(Y - \mu_Y)]

🔹 상관계수 (Correlation Coefficient)

공분산을 표준화한 값으로, -1에서 1 사이

\rho_{XY} = \frac{Cov(X, Y)}{\sigma_X \sigma_Y}

🔹 공분산행렬

다변량 데이터에서 모든 변수 간 공분산을 행렬로 나타낸 것

14. 주성분분석 (PCA)

고차원 데이터를 저차원으로 축소하면서, 최대한 정보를 보존하는 차원 축소 기법입니다.

PCA 절차

데이터 정규화: 평균 0으로 중심화
공분산 행렬 계산
고유값 및 고유벡터 계산
고유값이 큰 순서대로 주성분 선택
데이터를 주성분 방향으로 투영하여 차원 축소

PCA의 활용

데이터 시각화 (2D/3D)
노이즈 제거
차원 축소를 통한 모델 학습 속도 향상

차지예

이전 포스트

20일차 인공지능 기초수학2

다음 포스트