abstract

We present a new estimation principle for parameterized statistical models.
모수화된 통계 모델에 대한 새로운 추정 원칙을 제시합니다.

The idea is to perform nonlinear logistic regression to discriminate between the observed data and some artificially generated noise, using the model log-density function in the regression nonlinearity.
아이디어는 회귀 비선형성에서 모델 로그 밀도 함수를 사용하여 관찰된 데이터와 인위적으로 생성된 노이즈를 구별하기 위해 비선형 로지스틱 회귀를 수행하는 것입니다.

We show that this leads to a consistent (convergent) estimator of the parameters, and analyze the asymptotic variance.
consistent 일관된 convergent 수렴 estimator 추정치 asymptotic 점근선의
이것이 매개변수의 일관된(수렴) 추정기로 이어짐을 보여주고 점근적 분산을 분석합니다.

In particular, the method is shown to directly work for unnormalized models, i.e. models where the density function does not integrate to one.
특히, 이 방법은 비정규화 모델, 즉 밀도 함수가 하나로 통합되지 않는 모델에 대해 직접적으로 작동하는 것으로 나타났습니다.

The normalization constant can be estimated just like any other parameter.
정규화 상수는 다른 매개변수와 마찬가지로 추정할 수 있습니다.

For a tractable ICA model, we compare the method with other estimation methods that can be used to learn unnormalized models, including score matching, contrastive divergence, and maximum-likelihood where the normalization constant is estimated with importance sampling.
tractable 다루기 쉬운 divergence 차이, 나눈다
다루기 쉬운 ICA 모델의 경우 중요도 샘플링으로 정규화 상수를 추정하는 점수 일치, 대조 발산 및 최대 가능성을 포함하여 비정규화 모델을 학습하는 데 사용할 수 있는 다른 추정 방법과 방법을 비교합니다.

Simulations show that noise-contrastive estimation offers the best trade-off between computational and statistical efficiency.
시뮬레이션은 잡음 대비 추정이 계산 효율성과 통계 효율성 사이에서 최상의 균형을 제공한다는 것을 보여줍니다.

The method is then applied to the modeling of natural images: We show that the method can successfully estimate a large-scale two-layer model and a Markov random field.
그런 다음 이 방법을 자연 이미지 모델링에 적용합니다. 이 방법이 대규모 2계층 모델과 Markov 랜덤 필드를 성공적으로 추정할 수 있음을 보여줍니다.

Conclusion

We proposed here a new estimation principle, noise-contrastive estimation, which consistently estimates sophisticated statistical models that do not need to be normalized (e.g. energy-based models or Markov random fields).
sophisticate 정교한, 세련된
우리는 여기서 정규화할 필요가 없는 정교한 통계 모델(예: 에너지 기반 모델 또는 마르코프 무작위 필드)을 일관되게 추정하는 새로운 추정 원리인 노이즈 대비 추정(noise-contrast estimation)을 제안했다.

In fact, the normalization constant can be estimated as any other parameter of the model.
사실, 정규화 상수는 모델의 다른 매개변수로 추정될 수 있습니다.