[ TIL ] 조건부 기대값과 회귀함수의 최적화

지난 글에서 주어진 데이터 X와 결과값 Y가 있을 때, 회귀문제에 대한 조건부기대값 $E[y|x]$을 추정하는 것이 결과적으로 $E||y = f(x)||_2$를 최적화하는 함수(우리가 찾고자 하는 함수)와 일치한다고 했었다. 직관적으로도 바로 파악이 가능한 문제이지만 수학적으로 증명은 바로 손쉽게 되는 내용은 아니었고 공부를 하다보니 추가적으로 깨달은 것들이 있었다. 때문에 해당 내용을 추가적으로 정리했다.

💡 조건부확률과 회귀함수의 오차

가장 먼저, 우리가 해결해야 하는 것을 수식으로 정리해보자.

결과적으로 이러한 모습이 될 것이다. 즉, 우리가 구하고자 하는 함수의 오차값의 기대값이 우리가 구한 조건부 기대값보다 작거나 큰 형태이다. 이를 수식적으로 증명해보면 아래와 같다.

우리가 최종적으로 구해야 회귀 함수는 조건부기대갑과 같게 된다.

참고자료 : https://www.youtube.com/watch?v=7V170gTR1YE

틀린부분 지적은 언제나 환영입니다.