본 블로그의 모든 글은 직접 공부하고 남기는 기록입니다.
Likelihood?
Likelihood는 이름 그대로 "그럴 듯한 정도"를 의미합니다. 구체적으로는 주어진 데이터가 어떤 확률 분포에서 추출되었을 가능성을 뜻합니다. 여기서 '가능성'이라고 표현하긴 했지만 실제 Likelihood는 구체적인 '확률'의 개념이 아니라는 점을 꼭 기억합시다.
기본적으로 머신러닝의 목적은 주어진 데이터를 가장 잘 설명하는 분포를 찾는 것입니다. 그리고 주어진 데이터들이 어떤 임의의 분포에서 추출되었을 가능성(likelihood)을 최대화하면 그 분포가 바로 데이터의 모집단이 되겠죠. 이게 바로 Maximum Likelihood Estimation (MLE) 입니다. 간단하죠?
Likelihood Function
Likelihood는 다음과 같은 수식으로 나타낼 수 있습니다.
L ( θ ∣ X ) = P ( X ∣ θ ) ( 1 ) L(\theta|X) = P(X|\theta)\qquad (1) L ( θ ∣ X ) = P ( X ∣ θ ) ( 1 ) X X X θ \theta θ x ∈ X x \in X x ∈ X
P ( X ∣ θ ) = ∏ k = 1 n P ( x k ∣ θ ) P(X|\theta)=\prod_{k=1}^nP(x_k|\theta) P ( X ∣ θ ) = k = 1 ∏ n P ( x k ∣ θ ) 이제 우변을 최대화하면 주어진 데이터를 가장 잘 설명하는 함수를 구할 수 있습니다.
θ ∗ = arg max θ ( ∏ k = 1 n P ( x k ∣ θ ) ) \theta^*=\argmax_\theta \left(\prod_{k=1}^nP(x_k|\theta) \right) θ ∗ = θ a r g m a x ( k = 1 ∏ n P ( x k ∣ θ ) ) 이 때 얻은 파라미터 θ ∗ \theta^* θ ∗
Log-likelihood Function
P ( X ∣ θ ) P(X|\theta) P ( X ∣ θ ) [ 0 , 1 ] [0, 1] [ 0 , 1 ]
그래서 Likelihood function은 낮은 값을 가질 확률이 높습니다. 그런데 지나치게 값이 작으면 오차에 매우 민감해지므로 로그를 씌워서 이런 문제가 발생하지 않도록 해줍니다.
arg max θ ( ∑ k = 1 n log P ( x k ∣ θ ) ) ( 2 ) \argmax_\theta \left(\sum_{k=1}^n\log P(x_k|\theta)\right)\qquad(2) θ a r g m a x ( k = 1 ∑ n log P ( x k ∣ θ ) ) ( 2 ) 식 (2)를 log likelihood function 이라고 합니다.
Maximum Likelihood Estimation
이제 θ \theta θ θ \theta θ
∂ ∂ θ L ( θ ∣ X ) = ∂ ∂ θ ∑ k = 1 n log P ( x k ∣ θ ) = 0 ( 3 ) {\partial\over \partial\theta}L(\theta|X)={\partial\over \partial\theta}\sum_{k=1}^n\log P(x_k|\theta) =0\qquad(3) ∂ θ ∂ L ( θ ∣ X ) = ∂ θ ∂ k = 1 ∑ n log P ( x k ∣ θ ) = 0 ( 3 ) 활용 예시
식 (3)을 가지고 한 번 실제로 추정을 해 보겠습니다.
정규분포에서 독립추출한 표본 X = { x 1 , x 2 , . . . , x n } X=\{x_1, x_2,..., x_n\} X = { x 1 , x 2 , . . . , x n }
μ = 1 n ∑ k = 1 n x k \mu={1\over n}\sum_{k=1}^nx_k μ = n 1 k = 1 ∑ n x k 이고, 모분산은
σ 2 = 1 n ∑ k = 1 n ( x k − μ ) 2 \sigma^2={1\over n}\sum_{k=1}^n(x_k-\mu)^2 σ 2 = n 1 k = 1 ∑ n ( x k − μ ) 2 이라는 점을 기억해 둡니다.
정규분포에서 추출했으니 당연히 표본도 정규분포입니다.
f μ ^ , σ ^ 2 ( x k ) = 1 σ ^ 2 π exp ( − ( x k − μ ^ ) 2 2 σ ^ 2 ) ( 4 ) f_{\hat\mu, \hat\sigma^2}(x_k)={1\over \hat\sigma\sqrt{2\pi}}\exp\left(-{(x_k-\hat\mu)^2\over 2\hat\sigma^2} \right)\qquad(4) f μ ^ , σ ^ 2 ( x k ) = σ ^ 2 π 1 exp ( − 2 σ ^ 2 ( x k − μ ^ ) 2 ) ( 4 ) 식 (4)를 위에서 구한 likelihood function에 대입하면
P ( X ∣ θ ) = ∏ k = 1 n f μ ^ , σ ^ 2 ( x k ) = ∏ k = 1 n 1 σ ^ 2 π exp ( − ( x k − μ ^ ) 2 2 σ ^ 2 ) P(X|\theta)=\prod_{k=1}^nf_{\hat\mu, \hat\sigma^2}(x_k)=\prod_{k=1}^n{1\over \hat\sigma\sqrt{2\pi}}\exp\left(-{(x_k-\hat\mu)^2\over 2\hat\sigma^2} \right) P ( X ∣ θ ) = k = 1 ∏ n f μ ^ , σ ^ 2 ( x k ) = k = 1 ∏ n σ ^ 2 π 1 exp ( − 2 σ ^ 2 ( x k − μ ^ ) 2 ) 이고, 여기에 로그를 씌우면
log L ( θ ∣ X ) = ∑ k = 1 n log ( 1 σ ^ 2 π exp ( − ( x k − μ ^ ) 2 2 σ ^ 2 ) ) = ∑ k = 1 n ( log ( exp ( ( x k − μ ^ ) 2 2 σ ^ 2 ) ) − log ( σ ^ 2 π ) ) = ∑ k = 1 n ( − ( x k − μ ^ ) 2 2 σ ^ 2 − l o g ( σ ^ ) − l o g ( 2 π ) ) ( 5 ) \log L(\theta|X) = \sum_{k=1}^n\log\left({1\over \hat\sigma\sqrt{2\pi}}\exp\left(-{(x_k-\hat\mu)^2\over 2\hat\sigma^2} \right)\right)\\ \quad\\ = \sum_{k=1}^n\left(\log\left(\exp\left(\frac{(x_k-\hat\mu)^2}{2\hat\sigma^2}\right)\right)-\log(\hat\sigma\sqrt{2\pi})\right)\\ \quad\\ = \sum_{k=1}^n\left(-{(x_k-\hat\mu)^2\over 2\hat\sigma^2}-\mathrm{log}(\hat\sigma)-\mathrm{log}(\sqrt{2\pi})\right)\qquad(5) log L ( θ ∣ X ) = k = 1 ∑ n log ( σ ^ 2 π 1 exp ( − 2 σ ^ 2 ( x k − μ ^ ) 2 ) ) = k = 1 ∑ n ( log ( exp ( 2 σ ^ 2 ( x k − μ ^ ) 2 ) ) − log ( σ ^ 2 π ) ) = k = 1 ∑ n ( − 2 σ ^ 2 ( x k − μ ^ ) 2 − l o g ( σ ^ ) − l o g ( 2 π ) ) ( 5 ) 이제 식 (5)를 각각 μ ^ , σ ^ \hat\mu, \hat\sigma μ ^ , σ ^
∂ ∂ μ ^ L ( θ ∣ X ) = ∂ ∂ μ ^ ∑ k = 1 n ( − ( x k − μ ^ ) 2 2 σ ^ 2 − log ( σ ^ ) − log ( 2 π ) ) = − 1 2 σ ^ 2 ∑ k = 1 n ∂ ∂ μ ^ ( x k 2 − 2 x k μ ^ + μ ^ 2 ) = − 1 2 σ ^ 2 ∑ k = 1 n ( − 2 x k + 2 μ ^ ) = 1 σ ^ 2 ∑ k = 1 n ( x k − μ ^ ) {\partial\over\partial\hat\mu}L(\theta|X)={\partial\over\partial\hat\mu}\sum_{k=1}^n\left(-{(x_k-\hat\mu)^2\over 2\hat\sigma^2}-\log(\hat\sigma)-\log(\sqrt{2\pi})\right)\\ \quad\\ = -{1\over2\hat\sigma^2}\sum_{k=1}^n{\partial\over\partial\hat\mu}\left(x_k^2-2x_k\hat\mu+\hat\mu^2\right)\\ \quad\\ =-{1\over2\hat\sigma^2}\sum_{k=1}^n\left(-2x_k+2\hat\mu\right)\\ \quad\\ ={1\over\hat\sigma^2}\sum_{k=1}^n\left(x_k-\hat\mu\right) ∂ μ ^ ∂ L ( θ ∣ X ) = ∂ μ ^ ∂ k = 1 ∑ n ( − 2 σ ^ 2 ( x k − μ ^ ) 2 − log ( σ ^ ) − log ( 2 π ) ) = − 2 σ ^ 2 1 k = 1 ∑ n ∂ μ ^ ∂ ( x k 2 − 2 x k μ ^ + μ ^ 2 ) = − 2 σ ^ 2 1 k = 1 ∑ n ( − 2 x k + 2 μ ^ ) = σ ^ 2 1 k = 1 ∑ n ( x k − μ ^ ) 위 식의 값이 0이어야 하므로,
1 σ ^ 2 ∑ k = 1 n ( x k − μ ^ ) = 1 σ ^ 2 ( ∑ k = 1 n x k − n μ ^ ) = 0 {1\over\hat\sigma^2}\sum_{k=1}^n(x_k-\hat\mu)={1\over \hat\sigma^2}\left(\sum_{k=1}^nx_k-n\hat\mu\right)=0 σ ^ 2 1 k = 1 ∑ n ( x k − μ ^ ) = σ ^ 2 1 ( k = 1 ∑ n x k − n μ ^ ) = 0 따라서 MLE로 추정한 모집단의 평균값은 다음과 같이 실제 모평균과 같아집니다.
μ ^ = μ = 1 n ∑ k = 1 n x k \hat\mu=\mu={1\over n}\sum_{k=1}^nx_k μ ^ = μ = n 1 k = 1 ∑ n x k 같은 과정으로 모분산의 추정값을 구하면,
∂ ∂ σ ^ L ( θ ∣ X ) = ∂ ∂ σ ^ ∑ k = 1 n ( − ( x k − μ ^ ) 2 2 σ ^ 2 − log ( σ ^ ) − log ( 2 π ) ) = ∑ k = 1 n ( ( x k − μ ^ ) 2 σ ^ 3 − 1 σ ^ ) = − n σ ^ + 1 σ 3 ∑ k = 1 n ( x k − μ ^ ) 2 {\partial\over\partial\hat\sigma}L(\theta|X)={\partial\over\partial\hat\sigma}\sum_{k=1}^n\left(-{(x_k-\hat\mu)^2\over 2\hat\sigma^2}-\log(\hat\sigma)-\log(\sqrt{2\pi})\right)\\ \quad\\ =\sum_{k=1}^n\left({(x_k-\hat\mu)^2\over\hat\sigma^3}-{1\over\hat\sigma}\right)\\ \quad\\ =-{n\over\hat\sigma}+{1\over\sigma^3}\sum_{k=1}^n(x_k-\hat\mu)^2 ∂ σ ^ ∂ L ( θ ∣ X ) = ∂ σ ^ ∂ k = 1 ∑ n ( − 2 σ ^ 2 ( x k − μ ^ ) 2 − log ( σ ^ ) − log ( 2 π ) ) = k = 1 ∑ n ( σ ^ 3 ( x k − μ ^ ) 2 − σ ^ 1 ) = − σ ^ n + σ 3 1 k = 1 ∑ n ( x k − μ ^ ) 2 위 식의 값이 0이어야 하므로
− n σ ^ + 1 σ ^ 3 ∑ k = 1 n ( x k − μ ^ ) 2 = 0 -{n\over\hat\sigma}+{1\over\hat\sigma^3}\sum_{k=1}^n(x_k-\hat\mu)^2=0 − σ ^ n + σ ^ 3 1 k = 1 ∑ n ( x k − μ ^ ) 2 = 0 위와 마찬가지로 MLE를 통해 추정한 모분산 값도 실제 모분산과 같아집니다.
σ ^ 2 = σ 2 = 1 n ∑ k = 1 n ( x k − μ ) 2 \hat\sigma^2=\sigma^2={1\over n}\sum_{k=1}^n(x_k-\mu)^2 σ ^ 2 = σ 2 = n 1 k = 1 ∑ n ( x k − μ ) 2 참고문헌
공돌이의 수학정리노트 MLE 설명 데이터 사이언스 스쿨 MLE 설명 