What is log likelihood + L2 Norm 정당화

이두현·2022년 1월 18일
0

What is Log Likelihood

least square regression 상황 하에서 i 번째 정보에 대해 다음과 같은 식을 생각할 수 있다.
y(i)=θTx(i)+ϵ(i)y^{(i)} = \theta^Tx^{(i)} + \epsilon^{(i)}
만약 ϵ\epsilon가 normal distribution 을 따른다고 하면 위의 수식에 의해 y(i)θTx(i)y^{(i)} - \theta^Tx^{(i)} 항이 같은 분포를 따른다고 할 수 있다.
그렇다면 이러한 분포를 p(y(i)x(i);θ)p(y^{(i)}|x^{(i)};\theta) 라고 칭할 수 있고 이를 likelihood function L(θ)L(\theta) 로 정의한다.
그렇다면 모든 정보 i가 independent 하다고 가정할 경우 전체 Likelihood는 각 likelihood 의 곱으로 나타낼 수 있으며 식으로는 다음과 같다.

L(θ)=i=1mp(y(i)x(i);θ)L(\theta) = \prod_{i=1}^m p(y^{(i)}|x^{(i)};\theta)

각 정보에 대해 y가 맞을 확률을 최대로 하는 것이 목표이기 때문에 전체 곱의 결과가 최대가 되길 원하며 곱셈을 덧셈으로 치환하기 위해 양변에 log를 취해 log likelihood의 정의를 얻는다.

L2 Norm의 정당화


위의 결과는 ϵ\epsilon의 정규분포를 가정했기 때문에 유도된 결과이며 마지막 항으로부터 log likelihood를 최대로 만들기 위해서는 L2 Norm이 최소값을 가져야 함을 알 수 있다.

profile
0100101

0개의 댓글