Tools

이 글에서는 통계학 및 딥러닝/머신러닝 분야에서 많이 사용되는 수학적 도구들을 정리하고자 한다.엔트로피는 확률분포가 지닌 불확실성, 즉 평균 정보량을 나타내는 지표이다. 엔트로피는 여러 방식으로 표기할 수 있으며, 대표적인 세 가지 표현은 다음과 같다.이산형 확률분포:

1. 볼록함수(Convex function)란 다음의 정의를 만족하는 함수 $f$ 를 말한다. $$ f(\lambda x \; + \; (1-\lambda )y) \leq \lambda f(x)\;+\;(1-\lambda)f(y)\quad\quad \forall \;

충분통계량에 대한 이야기를 하기 전에, 기초적인 통계적 정리들에 대해 알아보고 넘어가자.우선, 조건부 확률은 다음과 같이 정의된다.$$P(y|x) = \\frac{P\_{X,Y}(x,y)}{P_X(x)}$$그리고 결합 분포가 주어졌을때, X의 marginal 분포는 다