공분산 행렬

공분산 행렬(Covariance Matrix)

공분산 글에서 알 수 있듯이, 공분산은 두 확률변수 $X, Y$ 사이의 상관관계를 보여주는 척도이다. 이 때, $X$가 여러 변수의 관측값으로 주어진 데이터셋, 즉, 각각의 벡터 변수 $x_1, x_2, \cdots, x_n$에 대해 $\mathbf{X} = (x_1, x_2, \cdots, x_n)^T$이라고 할 때, $\mathbf{X}$의 각각의 특징 값들의 분포가 서로 얼마만큼 닮아있는지를 나타내는 행렬이 바로 공분산 행렬이다.

공분산 행렬 $K_{XX}$은 다음과 같이 정의된다.

또한, $\mathbf{Y} = (y_1, y_2, \cdots, y_n)^T$에 대해 $\mathbf{X}$와 $\mathbf{Y}$ 사이의 교차 공분산을 생각할 수도 있는데, 이 때 두 확률변수 사이의 교차 공분산 행렬(Cross-Covariance Matrix)는 다음과 같다.

공분산 행렬 $K_{\mathbf{X}\mathbf{X}}$는 $\Sigma$ 또는 $Var(\mathbf{X})$ 등으로도 표기되고, 교차 공분산 행렬 $K_{\mathbf{X}\mathbf{Y}}$는 $Cov(\mathbf{X}, \mathbf{Y})$ 등으로도 표기된다.

공분산 행렬의 성질

공분산 행렬은 다음과 같은 성질을 만족한다.

• $K_{\mathbf{X}\mathbf{X}} = E(\mathbf{X}\mathbf{X}^T) - \mu_{\mathbf{X}}\mu_{\mathbf{X}}{}^T,\quad \mu_{\mathbf{X}} = E[\mathbf{X}]$.
• $K_{\mathbf{X}\mathbf{X}}$는 양의 준정부호(positive-semidefinite) 행렬이다. 즉, $\mathbf{a}K_{\mathbf{X}\mathbf{X}}\mathbf{a}^T \geq 0 \quad \forall\ \mathbf{a}\in\mathbb{R}^n$.
• $K_{\mathbf{X}\mathbf{X}}$는 대칭행렬이다. 즉, - $K_{\mathbf{X}\mathbf{X}}$는 대칭행렬이다. 즉, $K_{\mathbf{X}\mathbf{X}}$ = $K_{\mathbf{X}\mathbf{X}}{}^T$.
• 임의의 $m \times n$ 상수 행렬 $\mathbf{A}$, $m \times 1$ 상수 벡터 $\mathbf{a}$에 대해, $Var(\mathbf{A}\mathbf{X} + \mathbf{a}) = \mathbf{A}Var(\mathbf{X})\mathbf{A}^T$
• 같은 차원의 확률 벡터 $\mathbf{X}, \mathbf{Y}$에 대해, $Var(\mathbf{X} + \mathbf{Y}) = Var(\mathbf{X}) + Var(\mathbf{Y}) + Cov(\mathbf{X}, \mathbf{Y}) + Cov(\mathbf{Y}, \mathbf{X})$