PAC-Bayes

User-friendly introduction to PAC-Bayes bounds를 바탕으로 작성되었습니다.

Introduction

Statistical learning에서 PAC-Bayes는 일반화 능력을 이해하기 위한 접근법이다.

classification 이나 regression 같은 지도학습 문제에서 data set이 고정되어 있을 때,
일반화 성능을 예측하는 것이 목적이라고 할 수 있고 혹은 해당 set 을 통해 문제를 풀기 좋은 predictor를 고르는 것이 목적이라고도 할 수 있겠다.

notation

PAC-Bounds and Hoeffding's lemma

Chernoff Bound and Union Bound

Simple PAC-Bayes bound

Catoni's Bound

...

Application in the case of binary NN

Beyond "bounded loss" and "i.i.d observations)

Sequential prediction

Information theoretic approach