선형 대수에서 indenpendence(독립), orthogonality(직교)는 굉장히 중요한 개념이다. 하지만 통계 공부를 하다 보면, 확률 변수들 간의 independence, correlation이라는 개념을 배우게 되며 혼란스러워지기 시작한다.
- 확률 변수들 간의 independence 와 linear space에서 두 벡터 간의 independence는 어떤 관계인가?
- 두 확률 변수가 independent하면 correlation이 없는 건가?
- orthogonal set of vectors는 independent set인가?
머릿속에서 위와 같은 질문에 대한 대답이 정리가 되지 않아서, 본 포스팅에서 명료하게 정리해보고자 한다.
1. Definitions
1.1. Linear Independence
소제목에 적혀 있듯, linear independence(선형 독립)는 2개 이상의 벡터로 구성된 집합에 대해 정의된다. 벡터 집합 V={v1,...,vn}가 있다고 하자. 이 때, c1v1+...+cnvn=0를 만족하는 경우가 c1=c2=...=cn=0 밖에 존재하지 않는다면, 벡터 집합 V는 independent set이다.
조금 쉽게 설명하면, 벡터 집합 내의 어떠한 벡터도 다른 벡터들의 선형 결합으로 표현 할 수 없다면 해당 집합은 independent set이다.
1.2. Statistical Independence
통계학에서의 이야기하는 확률 변수들 간의 independence는 linear independence와는 다소 다르다. 두 확률 변수 X,Y가 있다고 하자. 각각의 확률변수는 확률밀도함수 fX(x),fY(y)를 갖는다. 통계적 독립은 아래와 같이 정의된다.
X,Y is independent ⇔fXY(x,y)=fX(x)fY(y)
쉽게 설명하자면, X라는 확률변수로부터 발생하는 사건이 Y라는 확률변수로부터 발생하는 사건에 영향을 받지 않으면, 두 확률변수를 독립이라고 한다.
통계학에서의 covariance나 correlation은 두 확률변수 간에 정의된다. 두 확률변수 X,Y가 있을 때, X가 증가하면 Y가 어떻게 변화하는가를 정량화한 것이 covariance나 correlation이다. 두 확률변수 간의 correlation과 covariance가 0이면, 두 확률변수는 statistically uncorrelated 라고 한다.
covariance와 correlation coefficient는 아래와 같이 정의된다.
cov(X,Y)=E[(X−E(X))(Y−E(Y)]=E[XY]−E[X]E[Y]
corr(X,Y)=σxσycov(X,Y)
1.4. Orthogonality
orthogonality는 원래 linear space에서 정의되는 개념이다. 어떤 벡터 집합
U={u1,...,un} 이 있을 때, 모든 i,j(i=j)에 대해 ui⋅uj=0를 만족한다면, 해당 집합은 orthogonal set이다.
orthogonality라는 개념을 linear space 뿐만이 아니라 random variable space로 확장해서 생각해볼 수도 있다. 두 벡터 간의 내적을 dot product로 정의한 것처럼, 두 확률 변수 간의 내적을 covariance로 정의한다면, random variable space에서 두 확률 변수 간의 orthogonality와 uncorrelatedness는 정확히 같다.
- 두 확률 변수가 independent → 두 확률 변수는 uncorrelated (참)
pf). fXY(x,y)=fX(x)fY(y) 라고 하자.
cov(X,Y)=E[XY]−E[X]E[Y]=∫x∫yxyfXY(x,y)dxdy−∫xxfX(x)dx⋅∫yyfY(y)dy
=∫x∫yxfX(x)⋅yfY(y)dxdy−∫xxfX(x)dx⋅∫yyfY(y)dy=0
따라서, X,Y가 독립이면 둘은 uncorrelated.
3. Relaton between Linear Independence and Orthogonality
- Linearly independent set ↛ Orthogonal set
- Orthogonal set & do not contain zero vector → Linearly independent set (만약 zero vector가 포함되어 있으면, independent set의 정의 상, 해당 벡터 집합은 independent set이 될 수 없음)
- Orthonormal set → Linearly independent set (orthonormal set에 포함된 벡터들은 모두 norm이 1이기 때문에 zero vector를 포함하지 않음, 따라서 위 명제가 성립)