1. Independence & Orthogonality & Uncorrelatedness

Dong Jun·2023년 5월 20일
0

Linear Algebra

목록 보기
2/2

선형 대수에서 indenpendence(독립), orthogonality(직교)는 굉장히 중요한 개념이다. 하지만 통계 공부를 하다 보면, 확률 변수들 간의 independence, correlation이라는 개념을 배우게 되며 혼란스러워지기 시작한다.

  • 확률 변수들 간의 independence 와 linear space에서 두 벡터 간의 independence는 어떤 관계인가?
  • 두 확률 변수가 independent하면 correlation이 없는 건가?
  • orthogonal set of vectors는 independent set인가?

머릿속에서 위와 같은 질문에 대한 대답이 정리가 되지 않아서, 본 포스팅에서 명료하게 정리해보고자 한다.

1. Definitions

1.1. Linear Independence

소제목에 적혀 있듯, linear independence(선형 독립)는 2개 이상의 벡터로 구성된 집합에 대해 정의된다. 벡터 집합 V={v1,...,vn}V = \{v_1, ..., v_n\}가 있다고 하자. 이 때, c1v1+...+cnvn=0c_1v_1 + ... + c_nv_n = 0를 만족하는 경우가 c1=c2=...=cn=0c_1 = c_2 = ... = c_n = 0 밖에 존재하지 않는다면, 벡터 집합 VV는 independent set이다.

조금 쉽게 설명하면, 벡터 집합 내의 어떠한 벡터도 다른 벡터들의 선형 결합으로 표현 할 수 없다면 해당 집합은 independent set이다.

1.2. Statistical Independence

통계학에서의 이야기하는 확률 변수들 간의 independence는 linear independence와는 다소 다르다. 두 확률 변수 X,YX,Y가 있다고 하자. 각각의 확률변수는 확률밀도함수 fX(x),fY(y)f_X(x), f_Y(y)를 갖는다. 통계적 독립은 아래와 같이 정의된다.

X,YX,Y is independent fXY(x,y)=fX(x)fY(y)\Leftrightarrow f_{XY}(x,y) = f_X(x)f_Y(y)

쉽게 설명하자면, XX라는 확률변수로부터 발생하는 사건이 YY라는 확률변수로부터 발생하는 사건에 영향을 받지 않으면, 두 확률변수를 독립이라고 한다.

1.3. Statistical Uncorrelatedness

통계학에서의 covariance나 correlation은 두 확률변수 간에 정의된다. 두 확률변수 X,YX,Y가 있을 때, XX가 증가하면 YY가 어떻게 변화하는가를 정량화한 것이 covariance나 correlation이다. 두 확률변수 간의 correlation과 covariance가 0이면, 두 확률변수는 statistically uncorrelated 라고 한다.

covariance와 correlation coefficient는 아래와 같이 정의된다.

cov(X,Y)=E[(XE(X))(YE(Y)]=E[XY]E[X]E[Y]cov(X, Y) = E[(X-E(X))(Y-E(Y)] = E[XY] - E[X]E[Y]

corr(X,Y)=cov(X,Y)σxσycorr(X, Y) = {cov(X,Y) \over \sigma_x \sigma_y}

1.4. Orthogonality

orthogonality는 원래 linear space에서 정의되는 개념이다. 어떤 벡터 집합
U={u1,...,un}U = \{u_1, ..., u_n\} 이 있을 때, 모든 i,j(ij)i, j (i \neq j)에 대해 uiuj=0u_i\cdot u_j = 0를 만족한다면, 해당 집합은 orthogonal set이다.

orthogonality라는 개념을 linear space 뿐만이 아니라 random variable space로 확장해서 생각해볼 수도 있다. 두 벡터 간의 내적을 dot product로 정의한 것처럼, 두 확률 변수 간의 내적을 covariance로 정의한다면, random variable space에서 두 확률 변수 간의 orthogonality와 uncorrelatedness는 정확히 같다.

2. Relation between Statistical Independence and Statistical Uncorrelatedness

  • 두 확률 변수가 independent \rightarrow 두 확률 변수는 uncorrelated (참)

pf). fXY(x,y)=fX(x)fY(y)f_{XY}(x,y) = f_X(x)f_Y(y) 라고 하자.

cov(X,Y)=E[XY]E[X]E[Y]=xyxyfXY(x,y)dxdyxxfX(x)dxyyfY(y)dycov(X,Y) = E[XY]-E[X]E[Y] = \int_x\int_yxyf_{XY}(x,y)dxdy - \int_xxf_X(x)dx\cdot \int_yyf_Y(y)dy

=xyxfX(x)yfY(y)dxdyxxfX(x)dxyyfY(y)dy=0= \int_x\int_yxf_{X}(x)\cdot yf_{Y}(y)dxdy - \int_xxf_X(x)dx\cdot \int_yyf_Y(y)dy =0

따라서, X,YX,Y가 독립이면 둘은 uncorrelated.

  • 역은 성립하지 않음!

3. Relaton between Linear Independence and Orthogonality

  • Linearly independent set \nrightarrow Orthogonal set
  • Orthogonal set & do not contain zero vector \rightarrow Linearly independent set (만약 zero vector가 포함되어 있으면, independent set의 정의 상, 해당 벡터 집합은 independent set이 될 수 없음)
  • Orthonormal set \rightarrow Linearly independent set (orthonormal set에 포함된 벡터들은 모두 norm이 1이기 때문에 zero vector를 포함하지 않음, 따라서 위 명제가 성립)
profile
컴퓨터, 통계, 수학

0개의 댓글