4강 Maximum Likelihood

Bias vs Variance

• Bias : 정확한 모델의 예측값과 우리의 모델의 평균 예측값의 차이
• Variance : high variance 일 경우 training data에는 맞을지 몰라도 test 데이터에는 맞지 않음 (일반화 x)
• 서로가 Tradeoff (Bias 와 Variance 의 그래프는 서로 반비례)

$Err(x) = Bias ^2 + Variance + Irreducible Error$

Maximum Likelihood Estimation

• Population의 최상의 결과값을 낼 수 있는 확률 (or estimation)
• 예를 들어, 주머니에 100개의 구슬이 있는데, 10개의 구슬을 꺼냈을때 흰구슬 6개, 검은구슬 4개라고 가정해보자. 그럼 MLE 의 관점으로는 그 샘플의 확률이 Population의 mean 과 stdev 를 가장 잘 설명하는 확률이라고 전제를 깔기 때문에, 수식으로 나타내면

${10\choose 6}p^6(1-p)^4$ 인데, 여기서 p의 확률이 가장 높게 나오려면, 미분 후 = 0 이 나오는 값

그래서 MLE의 관점으로 흰 구슬이 나올 확률은 $\frac{6}{10}$ 이다. (미분 과정 생략 ^^;;귀찮 ㅠ)

The Definition of Risk

• How much fluctuations I have around my expectation