선형 대수에서 indenpendence(독립), orthogonality(직교)는 굉장히 중요한 개념이다. 하지만 통계 공부를 하다 보면, 확률 변수들 간의 independence, correlation이라는 개념을 배우게 되며 혼란스러워지기 시작한다.

• 확률 변수들 간의 independence 와 linear space에서 두 벡터 간의 independence는 어떤 관계인가?
• 두 확률 변수가 independent하면 correlation이 없는 건가?
• orthogonal set of vectors는 independent set인가?

머릿속에서 위와 같은 질문에 대한 대답이 정리가 되지 않아서, 본 포스팅에서 명료하게 정리해보고자 한다.

1. Definitions

1.1. Linear Independence

소제목에 적혀 있듯, linear independence(선형 독립)는 2개 이상의 벡터로 구성된 집합에 대해 정의된다. 벡터 집합 $V = \{v_1, ..., v_n\}$가 있다고 하자. 이 때, $c_1v_1 + ... + c_nv_n = 0$를 만족하는 경우가 $c_1 = c_2 = ... = c_n = 0$ 밖에 존재하지 않는다면, 벡터 집합 $V$는 independent set이다.

조금 쉽게 설명하면, 벡터 집합 내의 어떠한 벡터도 다른 벡터들의 선형 결합으로 표현 할 수 없다면 해당 집합은 independent set이다.

1.2. Statistical Independence

통계학에서의 이야기하는 확률 변수들 간의 independence는 linear independence와는 다소 다르다. 두 확률 변수 $X,Y$가 있다고 하자. 각각의 확률변수는 확률밀도함수 $f_X(x), f_Y(y)$를 갖는다. 통계적 독립은 아래와 같이 정의된다.

$X,Y$ is independent $\Leftrightarrow f_{XY}(x,y) = f_X(x)f_Y(y)$

쉽게 설명하자면, $X$라는 확률변수로부터 발생하는 사건이 $Y$라는 확률변수로부터 발생하는 사건에 영향을 받지 않으면, 두 확률변수를 독립이라고 한다.

1.3. Statistical Uncorrelatedness

통계학에서의 covariance나 correlation은 두 확률변수 간에 정의된다. 두 확률변수 $X,Y$가 있을 때, $X$가 증가하면 $Y$가 어떻게 변화하는가를 정량화한 것이 covariance나 correlation이다. 두 확률변수 간의 correlation과 covariance가 0이면, 두 확률변수는 statistically uncorrelated 라고 한다.

covariance와 correlation coefficient는 아래와 같이 정의된다.

$cov(X, Y) = E[(X-E(X))(Y-E(Y)] = E[XY] - E[X]E[Y]$

$corr(X, Y) = {cov(X,Y) \over \sigma_x \sigma_y}$

1.4. Orthogonality

orthogonality는 원래 linear space에서 정의되는 개념이다. 어떤 벡터 집합
$U = \{u_1, ..., u_n\}$ 이 있을 때, 모든 $i, j (i \neq j)$에 대해 $u_i\cdot u_j = 0$를 만족한다면, 해당 집합은 orthogonal set이다.

orthogonality라는 개념을 linear space 뿐만이 아니라 random variable space로 확장해서 생각해볼 수도 있다. 두 벡터 간의 내적을 dot product로 정의한 것처럼, 두 확률 변수 간의 내적을 covariance로 정의한다면, random variable space에서 두 확률 변수 간의 orthogonality와 uncorrelatedness는 정확히 같다.

2. Relation between Statistical Independence and Statistical Uncorrelatedness

• 두 확률 변수가 independent $\rightarrow$ 두 확률 변수는 uncorrelated (참)

pf). $f_{XY}(x,y) = f_X(x)f_Y(y)$ 라고 하자.

$cov(X,Y) = E[XY]-E[X]E[Y] = \int_x\int_yxyf_{XY}(x,y)dxdy - \int_xxf_X(x)dx\cdot \int_yyf_Y(y)dy$

$= \int_x\int_yxf_{X}(x)\cdot yf_{Y}(y)dxdy - \int_xxf_X(x)dx\cdot \int_yyf_Y(y)dy =0$

따라서, $X,Y$가 독립이면 둘은 uncorrelated.

• 역은 성립하지 않음!

3. Relaton between Linear Independence and Orthogonality

• Linearly independent set $\nrightarrow$ Orthogonal set
• Orthogonal set & do not contain zero vector $\rightarrow$ Linearly independent set (만약 zero vector가 포함되어 있으면, independent set의 정의 상, 해당 벡터 집합은 independent set이 될 수 없음)
• Orthonormal set $\rightarrow$ Linearly independent set (orthonormal set에 포함된 벡터들은 모두 norm이 1이기 때문에 zero vector를 포함하지 않음, 따라서 위 명제가 성립)