[NCE]Noise-contrastive estimation: A new estimation principle for unnormalized statistical models

ABSTRACT

observed data와 artificially generated noise를 구분하는 모델

Introduction

unknown 확률 밀도 함수 p_d(.)이 있고 p_m(.;a)의 parameterized family에 의해 모델링된다

본논문에서는 특정 objective function을 최대화하여 관찰된 결과로부터 alpha를 추정하는게 목표!

2 Noise-contrastive estimation

결국 data에서 나온 확률은 최대화하고, artifical generated noise에서 나올 확률은 최소화하는 문제