log likelihood

통계학에서의 likelihood는 이해하기 힘들고 어려운데 다행히 DL/RL에서는 likelihood를 굉장히 한정적으로 쓴다.

DL/RL의 관점에서 likelihood는 우리가 직관적으로 '확률이라고 느껴지는것'과 동의어로 쓰인다.

예를들어 위 종모양의 표준정규분포에서 무작위로 숫자를 뽑았을때, 엄밀하게 말하자면 0이 나올 확률과 999가 나올 확률은 둘다 0이다. (무한한 실수를 분모로 하므로 $\frac{1}{\infty}=0$) 그러나 우리는 직관적으로 0 근처의 값이 나올 확률이 높고, 999 근처의 값이 나올 확률이 낮다는것을 알고있다. 이러한 직관을 표현하기 위해 나온 개념이 바로 likelihood(가능도)이다.

수학적으로 가능도는 PDF(Proobability Density Function)의 y값이다. 즉 표준정규분포에서 0이 나올 가능도는 0.4, 999가 나올 가능도는 0.001정도 되겠다.

Conclusion

엄밀한 가능도의 정의는 물론 확률과 다르고 오히려 확률의 반대개념이라고 볼 수 있다. 그러나 적어도 DL/RL에서는 '직관적으로 확률이라고 느껴지는것' 이라고 생각하면 무방하다. 애초에 쓰이는 용도가 Continous Action Space에서 특정 Action이 뽑힐 확률을 나타내기 위해 쓰이니..