4.5 Dimension

Jaehyun_onelion·2023년 3월 17일
Linear Algebra선형대수학
0

선형대수학

목록 보기
22/42

이번 포스트에서는 vector space의 dimension에 대해 알아보겠습니다.


1) Dimension


Definition : Dimension

If VV is spanned by a finite set, then VV is said to be finite-dimensional, and the dimension of VV, written as dim⁡V\dim V is the number of vectors in a basis for VV

The dimension of the zero vector space {0}\{0\} is defined to be zero.

If VV is not spanned by a finite set, then VV is said to be infinite-dimensional.

Vector space의 dimension은 basis의 벡터의 개수로 정의됩니다.

Zero vector로만 이루어진 vector space의 경우 basis가 없기 때문에(linearly dependent하기 때문입니다.) dimension을 0으로 따로 정의합니다.

또한 basis가 무한히 많은 vector space는 infinite-dimensional하다고 정의합니다.

하나의 vector space의 basis는 여러개 존재할 수 있지만, dimension은 같은 값으로 고정됩니다.


example

dim⁡Rn\dim \mathbb R^n

basis for Rn\mathbb R^n : {e1,e2,...,en}\{\boldsymbol{e_1}, \boldsymbol{e_2}, ..., \boldsymbol{e_n}\}

basis에 속한 벡터의 개수가 nn개이므로, dimension은 n입니다.

우리가 일반적으로 좌표평면의 경우 2차원, 좌표 공간의 경우 3차원이라고 하는 이유 또한 basis와 dimension 정의로부터 알 수 있습니다.


example

H={[a−3b+6c5a+4db−2c−d5d]∣a,b,c,d∈R}H = \{\begin{bmatrix}a-3b+6c \\ 5a+4d \\ b-2c-d \\ 5d \end{bmatrix}\mid a, b, c, d \in \mathbb R \}

HH는 다음과 같이 표현될 수 있습니다.

H={a[1500]+b[−3010]+c[60−20]+d[04−15]∣a,b,c,d∈R}H = \{a\begin{bmatrix}1 \\ 5 \\ 0 \\ 0 \end{bmatrix} + b\begin{bmatrix}-3 \\ 0 \\ 1 \\ 0 \end{bmatrix} + c\begin{bmatrix}6 \\ 0 \\ -2 \\ 0 \end{bmatrix} + d\begin{bmatrix}0 \\ 4 \\ -1 \\ 5 \end{bmatrix}\mid a, b, c, d \in \mathbb R \}

따라서

H=Span{v1,v2,v3,v4} v1=[1500],v2=[−3010],v3=[60−20],v4=[04−15]H = Span\{\boldsymbol{v_1}, \boldsymbol{v_2}, \boldsymbol{v_3}, \boldsymbol{v_4}\} \\ \ \\ \boldsymbol{v_1} =\begin{bmatrix}1 \\ 5 \\ 0 \\ 0 \end{bmatrix}, \boldsymbol{v_2}=\begin{bmatrix}-3 \\ 0 \\ 1 \\ 0 \end{bmatrix}, \boldsymbol{v_3}=\begin{bmatrix}6 \\ 0 \\ -2 \\ 0 \end{bmatrix}, \boldsymbol{v_4}=\begin{bmatrix}0 \\ 4 \\ -1 \\ 5 \end{bmatrix}

입니다. HH의 dimension을 구하기 위해서는 HH의 basis를 구해야 합니다. basis의 조건 중 span 조건은 만족했으니, linear independence 조건만 만족하면 됩니다. 하지만, v3=−2v2\boldsymbol{v_3} = -2\boldsymbol{v_2}이기 때문에, 4개의 벡터는 linearly dependent합니다. 따라서, v2,v3\boldsymbol{v_2}, \boldsymbol{v_3} 중 하나를 제거한다면,

B={v1,v2,v4}B = \{\boldsymbol{v_1}, \boldsymbol{v_2}, \boldsymbol{v_4}\}

BB는 linearly independent하게 되어 HH의 basis가 됩니다. 따라서

dim⁡H=3\dim H=3

이 됩니다.


example

다음 linear system

2x1+4x2−2x3+x4=0−2x1−5x2+7x3+3x4=03x1+7x2−8x3+6x4=0\begin{aligned} 2x_1 +4x_2 -2x_3+x_4&=0 \\ -2x_1-5x_2+7x_3+3x_4&=0 \\ 3x_1+7x_2 -8x_3+6x_4&=0 \end{aligned}

의 solution space를 생각해봅시다. 다음 system의 coefficient matrix를

A=[24−21−2−57337−86]A = \begin{bmatrix} 2 & 4 & -2 & 1 \\-2 & -5 & 7 &3 \\ 3 & 7 & -8 & 6 \end{bmatrix}

이 되고, 위 linear system의 solution space는 AA의 null space가 됩니다. 따라서 NulANulA를 구해보면

[24−210−2−573037−860]∼[1090001−50000010]\begin{bmatrix} 2 & 4 & -2 & 1 & 0\\-2 & -5 & 7 &3 &0\\ 3 & 7 & -8 & 6&0 \end{bmatrix} \sim \begin{bmatrix} 1 & 0 & 9 & 0 & 0\\0 & 1 & -5 &0 &0\\ 0 & 0 & 0 & 1&0 \end{bmatrix}

가 되어

x=x3[−9510],  x3:free\boldsymbol{x} = x_3\begin{bmatrix} -9 \\ 5 \\ 1 \\0\end{bmatrix},\ \ x_3 : free

가 됩니다. 즉, basis는

B={[−9510]}B = \{\begin{bmatrix} -9 \\ 5 \\ 1 \\0\end{bmatrix} \}

가 되어, dimension은 1이 됩니다.


2) Property of basis


Theorem

If VV is a non-zero subspace of Rn\mathbb R^n, then there exists a basis for VV that has at most nn vectors, i.e. dim⁡V≤n\dim V \leq n

Rn\mathbb R^n의 non-zero subspace는 반드시 basis가 존재하고, dimension은 nn보다 작습니다. 이를 일반화한 정리는 다음 정리 입니다.


Theorem

If VV and WW are subspaces of Rn\mathbb R^n, and if VV is a subspace of WW, then

0≤dim⁡V≤dim⁡W≤n0\leq \dim V \leq \dim W \leq n

V=WV=W if and only if dim⁡V=dim⁡W\dim V =\dim W

어떤 vector space의 subspace는 dimension이 자신을 포함하는 vector space보다 작거나 같습니다. 같은 경우, 두 vector space는 같은 space가 됩니다.


Theorem

Let SS be a nonempty set of vectos in a vector space VV, and let S′S' be a set that results by adding additional vectors in VV to SS

  • If the additional vectors are in SpanSSpanS, then SpanS′=SpanSSpanS' = SpanS
  • If SpanS′=SpanSSpanS'=SpanS, then the additional vectors are in SpanSSpanS
  • If SpanSSpanS and SpanS′SpanS' have the same dimension, then the additional vectors are in SpanSSpanS and SpanS′=SpanSSpanS'=SpanS

Span의 성질에 대해 다룬 정리입니다. span의 정의와 linear independence를 적용하면 쉽게 확인할 수 있습니다.


Theorem

Le VV be a p-dimensional vector space, p≥1p\geq 1

Any linear independent set of exactly p elements in VV automatically a basis for VV

Any set of exactly p elements that spans VV is automatically a basis for VV

dimension을 알고 있다면, dimension의 수만큼의 벡터가 basis 조건 중 하나만 만족해도(span or linear independence) 그 집합은 basis가 됩니다.

정리에 대한 증명은 appendix를 통해 확인하면 되겠습니다.


3) Finding dimension of NulANulA and ColAColA


Null space와 column space와의 dimension은 특수한 관계가 존재합니다. 다음의 예를 통해 알아보도록 하겠습니다.


example

A=[24−21−2−57337−86]A = \begin{bmatrix}2 & 4 & -2 & 1 \\ -2 & -5 & 7 & 3 \\ 3 & 7 & -8 & 6 \end{bmatrix}

먼저 NulANulA의 dimension을 구해보겠습니다. NulANulA를 구하기 위해 Ax=0A\boldsymbol{x}=0을 풀면

[24−210−2−573037−860]∼[1090001−50000010]\begin{bmatrix}2 & 4 & -2 & 1 & 0 \\ -2 & -5 & 7 & 3 & 0 \\ 3 & 7 & -8 & 6&0 \end{bmatrix} \sim \begin{bmatrix}1 & 0 & 9 & 0 & 0 \\ 0 & 1 & -5 & 0 & 0 \\ 0 & 0 & 0 & 1&0 \end{bmatrix}

이 되어

x=x3[−9510],  x3  is  free\boldsymbol{x} = x_3\begin{bmatrix}-9 \\ 5 \\ 1 \\ 0 \end{bmatrix}, \ \ x_3 \ \ is \ \ free

입니다. 따라서 null space의 basis는

B={[−9510]}B=\{ \begin{bmatrix}-9 \\ 5 \\ 1 \\ 0 \end{bmatrix} \}

가 되고,

dim⁡NulA=1\dim NulA = 1

이 됩니다.

다음은 ColAColA의 dimension을 구해보겠습니다. ColAColA는

ColA=Span{[2−23] [4−57],[−27−8],[136]}ColA=Span\{\begin{bmatrix}2 \\ -2 \\ 3 \end{bmatrix}\, \begin{bmatrix}4 \\ -5 \\ 7 \end{bmatrix}, \begin{bmatrix}-2 \\ 7 \\ -8 \end{bmatrix}, \begin{bmatrix}1 \\ 3 \\ 6 \end{bmatrix}\}

입니다. basis를 확인하기 위해서는 4개의 vector가 linearly independent한지 확인하면 됩니다. Null space를 구할 때 알았지만, AA의 세 번째 column을 제외한 나머지 column들이 pivot column이므로, 3번 째 column을 제외하면, column들이 linearly independent한 것을 알 수 있습니다. 따라서,

B={[2−23] [4−57],[136]}B=\{\begin{bmatrix}2 \\ -2 \\ 3 \end{bmatrix}\, \begin{bmatrix}4 \\ -5 \\ 7 \end{bmatrix}, \begin{bmatrix}1 \\ 3 \\ 6 \end{bmatrix}\}

가 되고, 따라서

dim⁡ColA=3\dim ColA = 3

가 됩니다.

여기서 중요한 점은

dimNulA+dimColA=4dim NulA + dim ColA = 4

가 되는데, 이는 AA matrix의 column의 개수가 됩니다.

이에 대한 자세한 내용은 다음 포스트에서 다루도록 하겠습니다.

지금까지 dimension에 대해서 알아보았습니다. 다음 포스트에서는 rank에 대해서 알아보도록 하겠습니다. 질문이나 오류 있으시면 댓글 남겨주세요! 감사합니다!


Appendix : Proof of Theorem


Theorem

If VV is a non-zero subspace of Rn\mathbb R^n, then there exists a basis for VV that has at most nn vectors, i.e. dim⁡V≤n\dim V \leq n


  • Proof

V⊂RnV \subset \mathbb R^n

let v1∈V\boldsymbol{v_1} \in V, v1≠0\boldsymbol{v_1} \neq 0

만약 Span{v1}=VSpan\{\boldsymbol{v_1}\} = V 이면, {v1}\{\boldsymbol{v_1}\} 은 VV의 basis가 됩니다.

만약 Span{v1}≠VSpan\{\boldsymbol{v_1}\} \neq V이면, span이 안된다는 뜻이므로, v1\boldsymbol{v_1}과 linearly independent한 어떤 벡터 v2\boldsymbol{v_2}가 VV에 존재합니다. 따라서, 두 벡터를 포함한 집합을 이용하여 span을 해볼 수 있습니다.

Span{v1,v2}=VSpan\{\boldsymbol{v_1, v_2}\} = V이면, {v1,v2}\{\boldsymbol{v_1, v_2}\}는 VV의 basis가 됩니다.

Span{v1,v2}≠VSpan\{\boldsymbol{v_1, v_2}\} \neq V이면, v1,v2\boldsymbol{v_1, v_2}과 linearly independent한 어떤 벡터 v3\boldsymbol{v_3}가 VV에 존재합니다. 따라서, 세 벡터를 포함한 집합을 이용하여 span 해볼 수 있습니다.

위와 같은 방법을 계속 진행하다

Span{v1,v2,...,vn}≠VSpan\{\boldsymbol{v_1, v_2, ..., v_n}\} \neq V 경우가 발생한다고 가정해봅시다. 그러면, {v1,v2,...,vn}\{\boldsymbol{v_1, v_2, ..., v_n}\}와 linearly independent한 vn+1\boldsymbol{v_{n+1}}이 VV에 존재한다는 것을 뜻합니다. 하지만, Rn\mathbb R^n의 dimension이 nn이기 때문에, {v1,...,vn+1}\{\boldsymbol{v_1}, ..., \boldsymbol{v_{n+1}}\}은 linearly dependent합니다. 따라서, Span{v1,v2,...,vn}≠VSpan\{\boldsymbol{v_1, v_2, ..., v_n}\} \neq V인 경우는 발생하지 않습니다.

따라서

dim⁡V≤n\dim V \leq n

입니다.


Theorem

If VV and WW are subspaces of Rn\mathbb R^n, and if VV is a subspace of WW, then

0≤dim⁡V≤dim⁡W≤n0\leq \dim V \leq \dim W \leq n

V=WV=W if and only if dim⁡V=dim⁡W\dim V =\dim W


  • Proof
0≤dim⁡V≤dim⁡W≤n0\leq \dim V \leq \dim W \leq n

이 부분은 앞선 정리의 증명과 동일합니다. V⊂W⊂RnV \subset W \subset \mathbb R^n이기 때문에, W⊂RnW \subset \mathbb R^n일 때의 dimension 관계 밝히는 방법을 똑같이 적용하면 알 수 있습니다.

두 번째로 밝혀야 하는 부분은

V=W  ⟺  dim⁡V=dim⁡WV=W \iff \dim V=\dim W

입니다.

V=WV=W 이면, trivial하게 dim⁡V=dim⁡W\dim V = \dim W입니다.

반대로, dim⁡V=dim⁡W\dim V = \dim W이고, V⊂WV\subset W인 상황을 생각해봅시다.

dim⁡V=dim⁡W=k\dim V = \dim W=k

이라고 하고,

S={v1,v2,...,vk}S=\{\boldsymbol{v_1}, \boldsymbol{v_2}, ..., \boldsymbol{v_k}\}

를 VV의 basis라고 하면, S는 반드시 WW의 basis가 되어야 합니다. 왜냐하면 V⊂WV \subset W이고, WW의 dimension이 kk이며, SS는 linearly independent하기 때문이죠. 따라서,

V=WV=W

를 만족합니다.


Theorem

Let SS be a nonempty set of vectos in a vector space VV, and let S′S' be a set that results by adding additional vectors in VV to SS

  1. If the additional vectors are in SpanSSpanS, then SpanS′=SpanSSpanS' = SpanS

  2. If SpanS′=SpanSSpanS'=SpanS, then the additional vectors are in SpanSSpanS

  3. If SpanSSpanS and SpanS′SpanS' have the same dimension, then the additional vectors are in SpanSSpanS and SpanS′=SpanSSpanS'=SpanS


  • Proof

Proof of 1.

추가된 벡터가 SpanSSpanS에 있다는 것은 추가된 벡터는 SS에 속한 벡터의 linear combination으로 표현이 가능하다는 것을 뜻합니다. 따라서

SpanS=SpanS′Span S = Span S'

을 만족합니다. SpanSSpanS는 SS에 속한 벡터들의 linear combination 모두 모아놓은 집합을 뜻하기 때문입니다.

Proof of 2

마찬가지로, SpanS′=SpanSSpanS'=SpanS이면, 추가된 벡터가 SS에 속한 벡터들의 linear combination으로 표현된다는 것을 뜻합니다. (만약 표현되지 않으면 두 span이 같을 수 없습니다.) 따라서 추가된 벡터는 SpanSSpanS에 속하는 것을 알 수 있습니다.

Proof of 3

SpanSSpanS와 SpanS′SpanS'를 보면, SS에 벡터 하나를 추가하여 S′S'를 만들었기 때문에

S⊆S′S \subseteq S'

입니다. 따라서,

dim⁡SpanS≤dim⁡SpanS′\dim SpanS \leq \dim SpanS'

인데, dimension이 같은 경우 두 vector space가 동일합니다. 따라서,

SpanS=SpanS′SpanS =SpanS'

임과 동시에, 추가된 벡터가 SpanSSpanS에 포함되는 것을 알 수 있습니다.


Theorem

Le VV be a p-dimensional vector space, p≥1p\geq 1

Any linear independent set of exactly p elements in VV automatically a basis for VV

Any set of exactly p elements that spans VV is automatically a basis for VV


  • Proof

dim⁡V=p\dim V =p입니다. 여기서, linearly independent한 벡터의 수가 pp개인 집합 SS를 생각해봅시다.

만약 SS가 basis가 되지 않는다면, Span 조건을 만족하지 않기 때문에, SS에서 VV에 있는 적절한 벡터를 추가한 S′S'가 basis가 되도록 만들 수 있습니다.

하지만, 이 때 S′S'에 속한 벡터의 개수가 pp보다 커지기 때문에, 모순이 발생합니다.

따라서 SS는 basis가 됩니다.

두 번째로 SpanS=VSpanS=V를 만족하는 벡터의 개수가 pp개인 집합 SS를 생각해봅시다.

만약 SS가 basis가 되지 않는다면, linear independence 조건을 만족하지 않기 때문에, SS에 속해 있는 벡터 중 적절한 벡터를 제거한 집합 S′S'가 VV의 basis가 되도록 만들 수 있습니다.

하지만, 이 때 S′S'에 속한 벡터의 개수가 pp보다 작아지기 때문에, 모순이 발생합니다.

따라서 SS는 basis가 됩니다.

profile
Jaehyun_onelion
데이터 분석가 새싹
이전 포스트

4.4 Linear independent sets ; Basis

다음 포스트

4.6 Rank, Nullity

0개의 댓글