😃[6주차 - Day1]😃
가우시안 분포 ( 연속확률분포 )
정보이론에서 엔트로피를 최대화시키는 확률분포가 가우시안 분포이고, 중심극한정리에서도 가우시안 분포가 일어납니다.
동일한 확률변수 N개가 있을 때 이것들의 평균이, N이 커질수록 가우시안 분포에 가까워진다는 정리가 중심극한정리입니다.
가장 간단한 가우시안 분포는 변수가 한개 일 경우입니다. 요번 시간에는 D차원의 벡터 x 가 주어졌을 때, 가우시안 분포가 어떻게 이루어지는지 알아봅니다.
여기서 뮤는 D차원의 평균 벡터이고, 시그마는 D x D 크기를 가지는 공분산 행렬입니다.
가우시안 분포의 기하학적 형태
x에 대한 함수 종속성은 지수부에 등장하는 이차형식(quadratic form)에 있습니다.
이차형식의 성질 때문에 시그마를 대칭행렬이라고 가정할 수 있습니다.
또한 가우시안 분포는 Normalization을 따릅니다.
조건부 가우시안 분포
p(xa,xb) 가 가우시안 분포를 따르는 경우, p(xa|xb) 도 가우시안 분포를 따르게 된다.
주변 확률 가우시안 분포
주변확률 분포
결합 확률 분포에서 한 쪽의 변수가 사라지거나 무시되는 것.
p(x,y) 에서 x 에 대한 주변 확률 분포는 p(x) 가 되며, y 에 대한 주변 확률 분포는 마찬가지로 p(y) 가 된다.
이 때 한쪽의 변수는 합산하여 사라지게 되는데 이산 변수는 모든 확률 값의 합으로, 연속 변수의 경우 적분을 통해 진행된다.
