확률이론은 불확실성을 정량화하는 방법을 제시한다. 인공지능에서 확률이론은 먼저 알고리즘이 계산하거나 근사화 하는 방식에서 사용이 된다. 또한 확률과 통계를 통해 이론적으로 분석하는 방법을 알 수 있게 된다. 정보이론은 불확실성을 양적으로 정량화하는 법을 다룬다.
Why Probability
Computer scientists ans Software engineers : clean and certain deterministic and certain environment
Machine Learning deal with uncertain quatities and sometimes stochatic quatities
sources of uncertainty
1.Inherent stochasticity in the system being modeled
2.Incomplete observability
3.Incomplete modeling
책에서는 포괄적인 모델링의 예시를 하나 들었다.
“Most birds fly”
“Birds fly, except for very young birds that have not yet learned tofly, sick or injured birds that have lost the ability to fly, flightless species of birdsincluding the cassowary, ostrich and kiwi. . .”
Frequentist vs Bayesian
https://blog.naver.com/bestian/10095013721
빈도주의자에게 확률이란 어떤 상황에 대한 답을 confirm하는 개념이며, 이를 위해서는 가설을 검증하는 단계를 거친다.
베이지안에게 확률이란 믿음에 가까운 개념이며, 모든 가능한 확률의 확률분포 중에서 어느 확률분포가 더 타당한지를 update하게된다.
