Poisson 분포의 Maximum Likelihood Estimation

율·2025년 3월 19일

1. 포아송 분포 정의

포아송 분포 $X \sim \text{Poisson}(\lambda)$ 는 단위 시간(또는 공간) 내에서 발생하는 사건의 횟수를 설명하는 분포로, 확률 질량 함수(PMF)는 다음과 같습니다:

P(X = k \mid \lambda) = \frac{\lambda^k e^{-\lambda}}{k!}, \quad k = 0, 1, 2, \dots

여기서,

$\lambda > 0$ 는 단위 시간당 평균 발생 횟수(기댓값)입니다.
$k!$ 는 $k$ 의 계승(factorial)입니다.

2. 우도함수 (Likelihood Function)

(1) 독립 표본을 고려한 우도함수

포아송 분포를 따르는 독립적인 표본 $X_1, X_2, \dots, X_n$ 이 주어졌다고 하자. 각 $X_i$ 는 서로 독립적으로 $\text{Poisson}(\lambda)$ 를 따른다고 가정하면, 전체 표본의 공동 확률 (즉, 우도함수)는 각 개별 확률의 곱으로 주어집니다:

L(\lambda \mid X_1, X_2, \dots, X_n) = \prod_{i=1}^{n} P(X_i \mid \lambda)

이를 포아송 분포의 PMF를 이용하여 전개하면,

L(\lambda) = \prod_{i=1}^{n} \frac{\lambda^{X_i} e^{-\lambda}}{X_i!}

(2) 우도함수 정리

위 식을 정리하면,

L(\lambda) = \left( \prod_{i=1}^{n} \frac{1}{X_i!} \right) \lambda^{\sum_{i=1}^{n} X_i} e^{-n\lambda}

여기서 총합을 다음과 같이 정의하면 편리합니다:

S = \sum_{i=1}^{n} X_i

그러면 우도함수는 다음과 같이 간략히 표현됩니다:

L(\lambda) = \left( \prod_{i=1}^{n} \frac{1}{X_i!} \right) \lambda^S e^{-n\lambda}

3. 로그 우도함수 (Log-Likelihood Function)

계산을 단순하게 하기 위해 로그 우도함수를 구합니다:

\ell(\lambda) = \log L(\lambda)

로그를 취하면,

\ell(\lambda) = \log \left[ \left( \prod_{i=1}^{n} \frac{1}{X_i!} \right) \lambda^S e^{-n\lambda} \right]

로그의 성질을 이용하여 항별로 나누면,

\ell(\lambda) = \sum_{i=1}^{n} \log \frac{1}{X_i!} + \log \lambda^S + \log e^{-n\lambda}

이를 다시 정리하면,

\ell(\lambda) = -\sum_{i=1}^{n} \log X_i! + S \log \lambda - n\lambda

즉, 로그 우도함수는 다음과 같습니다:

\ell(\lambda) = S \log \lambda - n\lambda - \sum_{i=1}^{n} \log X_i!

(여기서 $\sum_{i=1}^{n} \log X_i!$ 항은 $\lambda$ 에 영향을 주지 않으므로, 최적화 과정에서는 상수로 취급할 수 있습니다.)

4. 최대우도추정량 (MLE)

우도함수를 최대화하는 $\lambda$ 값을 찾기 위해, 로그 우도함수를 $\lambda$ 에 대해 미분하고 $0$ 으로 설정합니다:

\frac{d}{d\lambda} \ell(\lambda) = \frac{S}{\lambda} - n = 0

이를 풀면,

\hat{\lambda} = \frac{S}{n} = \frac{1}{n} \sum_{i=1}^{n} X_i

즉, 포아송 분포의 최대우도추정량(MLE)은 단순히 표본 평균이 됩니다:

\hat{\lambda} = \bar{X}

5. 요약

포아송 분포에서의 우도함수는:
$L(\lambda) = \left( \prod_{i=1}^{n} \frac{1}{X_i!} \right) \lambda^S e^{-n\lambda}$
로그 우도함수는:
$\ell(\lambda) = S \log \lambda - n\lambda - \sum_{i=1}^{n} \log X_i!$
우도함수를 최대화하는 $\lambda$ 의 최대우도추정량(MLE)은:
$\hat{\lambda} = \frac{1}{n} \sum_{i=1}^{n} X_i$

이와 같이 포아송 분포에서는 표본 평균이 MLE가 됩니다.

율

보건대학원 뉴비

이전 포스트

라플라스 변환과 적률 생성 함수

다음 포스트