Probability vs. Likelihood

면접에서 이런 질문을 받은 적이 있다. Probability와 Likelihood의 차이를 아시나요?
요약부터 하고 시작하자.

-	Probability	Likelihood
수식	$P(data \mid distribution)$	$P(distribution \mid data)$
주어진 것	분포	데이터
알아내고 싶은 것	주어진 분포에서 특정 값을 가진 데이터가 존재할 확률	해당 데이터를 포함한 분포가 그 분포일 확률

그림으로 이야기하면

위의 그림은 분포가 연속적인 경우를 가정한다.
Probability는 연속적인 분포에서 내가 임의로 뽑은 하나가 특정 범위 안에 있을 확률
Likelihood는 내가 뽑은 데이터가(데이터들이) 특정한 연속적인 분포를 가질 확률