Probability
우리 말로 확률이라고 하며 우리가 익히 알고 있는 그 확률이다.
주사위를 던져서 5가 나올 확률은 1/6이다. 경우의 수가 6이기 때문이다.
하지만 1~6 사이의 실수값 중 하나를 뽑았을 때 정확히 5가 나올 확률은 0이다. 경우의 수가 무한이기 때문이다.
이처럼 연속사건에서 특정 사건의 확률은 모두 0이다. 따라서 이런 경우에는 특정 구간에 속할 확률을 말하는 것이 일반적이다.
Probability Density Function, PDF
아래 그림은 확률밀도함수의 간단한 예시이다.
확률밀도함수 즉 PDF는 특정 구간에 속할 확률을 계산하기 위한 함수이며 함수를 나타내는 그래프에서 특정 구간에 속한 넓이 = 특정 구간에 속할 확률이 되게끔 정한 함수이다.
연속사건의 경우 특정 사건이 일어날 확률은 모두 0이며, 어떤 구간에 속할 확률은 PDF를 이용해서 구할 수 있다.
그렇다면 특정 사건에 대한 해석은 할 수 없을까? 위 정규분포의 예시의 경우 연속사건이므로 분포상에서 하나의 값을 뽑았을 때 0이 나올 확률, 1이 나올 확률, 999가 나올 확률 전부 정의상 0이다.
하지만 우리는 직관적으로 0이 나올 확률이 가장 높고 그다음이 1 그리고 999는 거의 나올 확률이 없다는 것을 알고 있다.
Likelihood
연속사건에서 특정 사건이 일어날 확률은 전부 0이므로 사건들이 일어날 가능성을 비교하는 것이 불가능하다. 하지만 가능도라는 개념을 적용하면 이를 비교할 수 있다.
가능도는 확률과는 개념적으로 반대되는 지표라 할 수 있다. 가능도란 어떤 특정한 값을 관측할 때, 이 관측치가 어떠한 확률분포에서 나왔는가에 관한 값이다.
간단히 설명하면 위의 함수에서 y값이 가능도이다. 즉, y값이 높을수록 일어날 가능성이 높은 사건이라는 것이다.
주사위나 동전을 던지는 경우 연속성이 없으므로 가능도가 곧 확률이 되지만 연속적인 경우 가능도가 곧 확률이 되는 것은 아니다.
제 생각에 가능도란 확률과는 다른 가능성의 대소비교를 위한 값인 것 같습니다.
Maximum Likelihood Estimator, MLE
최대가능도 추정법은 주어진 표본에 대해 가능도를 가장 크게 하는 모수를 찾는 방법이다.
예를들어 정규분포를 가지는 확률변수의 분산은 알고 있으나 평균을 모르고 있어 이를 추정해야하는 상황을 생각해보자. 표본은 x=1 하나를 가지고 있다고 하자.
여기 평균의 후보가 3개 있다. {-1, 0, 1} 이 세 가지 평균 값에 대해 1이 나올 확률밀도의 값이 바로 가능도이다.
초록 그래프의 경우 1일 때 가능도가 0.4로 가장 높으므로 초록색을 채택하는 것이 가장 합리적이다.
