[Linear Algebra] Null Space, Pivot variable과 Free variable

Lecture 7 Null Space 계산 알고리즘. Ax=0과 Pivot variable 그리고 Free variable

저는 위 블로그를 참고하여 그대로 정리하였습니다. Gilbert Strang 교수의 Linear Algebra 강의를 정리한 포스팅입니다. 굉장히 정리가 잘 되어 있어서 강추합니다!

저는 단순히 pivot variable과 free variable이 궁금했을 뿐인데, 어쩌다보니 vector space부터 보았습니다.

Null space를 배우기 전에 복습하는 내용입니다.

Vector space, Subspace, Column space, Linear equation

Vector Space

벡터 공간이 존재할 수 있는 조건입니다.

Subspace

모든 부분공간은 반드시 원점을 지나야 한다는 점

subspacle = all linear combinations of column

Column Space

column을 활용해서 모든 선형 결합의 조합을 찾으면 A가 정의하는 column 부분 공간을 채울 수 있다.

Linear Equation

• 4개의 방정식은 A의 row vector를 계수로 하는 식이다.
• 위 식을 만족하는 해 $[x_1, x_2, x_3]$을 찾아야 한다.
• A의 column의 선형결합이 $R^4$를 채울 수 없다. 즉, 모든 vector $b$에 대해 해를 구할 수 없다.

여기서 pivot column에 대한 개념이 처음 등장합니다.

$col \ 1$과 $col \ 2$가 pivot column에 해당하는데요. 이 두 column은 상호 독립적(independent)이기 때문입니다.

여기서 pivot column의 개수가 2라는 점이 이 행렬 A의 rank가 2라는 점과 맞닿아 있습니다.

Null space

어떤 Null space든지 반드시 0 벡터(zero vector)를 포함해야 한다.

Null space가 vector space인지 확인하기 위해 $Ax=0$의 해들이 항상 subspace를 이루는지 알아야 한다.

b가 임의의 값을 가질 때 해에 대한 vector space는 당연히 생기지 않는다.

해 중에 zero vector가 없고 원점을 지나지 않기 때문에 해들은 vector space를 이루지 않는다.

Null Space를 계산하기 위한 알고리즘

null space를 구하기 위해 소거해서 확인하는 방법이 있다.

다만, 여기서 column space는 변할 수 있으나 null space는 변하지 않는다는 점이 중요하다.

pivot의 개수 = 행렬 A의 Rank

$Ax=0$과 $Ux=0$의 해는 동일한 null space에 존재한다.

Pivot variable, Free variable

pivot이 있는 column이 pivot column이라 하고, 그 외가 free column이다.

여기까진 임의의 free variable 값을 설정하여 구하는 과정이다.

More solution in Null space

이는 4차원 공간에서 무한대의 2차원을 표현해주지만, 그렇다고 해당 해가 A와 U에 대한 모든 null space를 나타내지는 않는다.

Another Example

special solution은 각 free variable 마다 존재한다.

이건 어쩌면 당연한 계산일 수 있는데, 앞에서 반복해서 정리했듯이 pivot과 rank의 수는 같다. 그리고 pivot은 mxn size의 행렬 column에서 정의되는 것이기 때문에 free variable의 수는 pivot을 뺀 나머지의 column 수에 해당한다.

Reduced row echelon form

• pivot 원소들의 아래 위의 모든 원소가 0이 되어야 한다.
• pivot 원소를 1로 만들어야 한다.

Reduced row echelon form의 정의는 위와 같다.

A → U → R

• pivot rows와 pivot columns의 겹치는 부분을 가져오면 identity matrix가 된다.

• 우리는 original matrix A에서 가우스 소거법을 통해 행렬을 U로 바꾸고 한 번 더 R로 바꾸었다.

• 그리고 U를 소거한 $Rx=0$의 해도 동일한 null space에 존재한다.

$Rx=0$ 도 동일한 null space에 존재한다.

여기까지 null space에 대한 개념, 구하는 알고리즘, pivot과 free variable이 갖는 의미에 대해 배웠습니다.

봐주셔서 감사합니다.

더 자세한 설명과 내용은 위 reference를 참고 부탁드립니다.