좌표와 변환

• 공간상의 좌표를 정의하기 위한 개념을 알아보자

선형종속과 선형독립

• 벡터 집합을 이루는 벡터들의 선형조합이 영벡터가 되는 계수 조합이 존재
  => 선형종속
  
• 반대로, 이를 만족하는 계수 조합이 {0,0,...0} 뿐
  => 선형독립

선형독립과 선형 연립방정식

• 선형독립 관계를 행렬과 벡터의 곱으로 나타낼 수 있다
  
• 어떤 벡터들이 선형독립인지 알아내는 문제는 선형 연립방정식과 같다

선형종속인 경우

• 예측보형을 위한 특징행렬의 열벡터들이 선형종속에 가깝다
  => 다중공선성 (multicollinearity)
• 다중공선성이 발생하면 예측의 성능이 나빠진다
  => 모델이 각 변수의 개별적인 영향을 정확하게 추정하기 어렵기 때문
• 이를 방지하기 위해 선형종속이 되는 경우들을 살펴보자
  1. 벡터의 갯수가 차원보다 클 때
• 연립방정식의 미지수의 갯수가 방정식의 수보다 많은 것
  => 해가 무수히 많아진다
• 행의 갯수가 열의 갯수보다 크면 대부분 선형독립
  2. 값이 같은 벡터가 있다
• 이 경우, 반드시 선형종속
• 같은 벡터의 계수를 음수로 두고 나머지가 0인 경우가 있기 때문
• 한 벡터가 다른 벡터의 실수배인 경우도 마찬가지
  3. 어떤 벡터가 다른 벡터의 선형조합
• 이 경우도 반드시 선형종속
• 데이터 분석에서 흔히 할 수 있는 실수다
• 국어, 영어, 수학 점수를 데이터로 포함한 경우에서, 이 세 점수에 의존하는 총점수나 평균 등을 데이터로 포함하면 선형종속이다.

랭크

• row rank : 행벡터 중 서로 독립인 행벡터의 최대 개수

• column rank : 열벡터 중 서로 독립인 열벡터의 최대 개수

  • 열랭크와 행랭크는 항상 같다
  • 둘을 합쳐러 랭크라고 부르기도 한다

• 랭크는 행과 열의 갯수 중 작은 값보다 커질 수 없다

풀 랭크

• 랭크가 행과 열의 갯수 중 작은 값과 같은 경우

로우-랭크 행렬

• N 차원 벡터 x 하나를 이용한 다음과 같은 행렬을 rank-1 matrix 라고 한다.
  
• x 라는 하나의 벡터를 x1, x2, ... xn 배 한 벡터이기 때문
• 위와 비슷하게, 두 개의 N 차원 벡터를 이용하면 rank-2 matrix
  

랭크와 역행렬

• 정방행렬이 풀랭크면 역행렬이 존재한다
• 역도 성립한다

벡터공간과 기저벡터

• 벡터공간 : 선형독립 벡터 N 개를 선형조합해 만들어지는 벡터 집합
• 기저벡터 : 벡터공간을 이루는 벡터
• 벡터공간의 차원은 벡터의 차원이 아닌, 기저벡터의 갯수

  N 개의 N차원 벡터들이 선형독립이면 이를 선형조합해 모든 N차원 벡터를 만들 수 있다

벡터공간 투영

• N 차원 벡터 x에 대해 기저벡터들을 선형조합해 만든 벡터와 x 의 차가 모든 기저벡터에 직교하면 그 벡터를 벡터공간에 대한 투영벡터라고 한다.
• x 와의 차이벡터는 벡터공간에 대한 직교벡터라 한다

표준기저벡터

좌표

• 좌표는 기저벡터를 선형조합해 어떤 벡터를 나타내기 위한 계수벡터
• 벡터 x의 기저벡터 ${e_1, e_2}$ 에 대한 좌표벡터의 관계
  

좌표변환

• 새로운 기저벡터에 대해 좌표를 계산하는 것
• $\{e_1, e_2\}$ 에 대한 좌표 $x_e$ 를 $\{g_1, g_2\}$ 에 대한 좌표 $x_g$ 로 변환
  
  
• 이 때 A 의 역행렬 T 를 변환행렬이라고 한다