4.1 Vector Space

Jaehyun_onelion·2023년 3월 17일
Linear Algebra선형대수학
0

선형대수학

목록 보기
17/42

이번 포스트에서는 Vector space와 subspace에 대해서 알아보겠습니다.


1) Vector Space


1) Vector Space


이전까지 어떤 집합에서 연산을 다룰 때 집합 간의 연산만을 다루었지(ex : 합집합, 교집합, 차집합 등등...), 집합 내의 원소간 연산은 다루지 않았습니다. 집합에서 집합 내의 원소간 연산을 추가하여 vector space를 정의합니다.


Definition : Vector space

A vector space is a nonempty set VV of objects, called vectors, on which are defined two operation, called addition and scalar multiplication(real numbers), subject to ten axioms listed below. The axioms must hold for all vectors u\boldsymbol{u} and v\boldsymbol{v} in VV and for all scalars cc and dd

  1. The sum of u\boldsymbol{u} and v\boldsymbol{v}, denoted by u+v\boldsymbol{u+v}, is in VV
  2. u+v=v+u\boldsymbol{u+v}=\boldsymbol{v+u}
  3. (u+v)+w=u+(v+w)\boldsymbol{(u+v)+w = u+(v+w)}
  4. There is a zero vector 0\boldsymbol{0} in VV such that 0+u=u\boldsymbol{0+u}=\boldsymbol{u}
  5. For each u\boldsymbol{u} in VV, there is a vector −u\boldsymbol{-u} in VV such that u+(−u)=0\boldsymbol{u+(-u)=0}
  6. The scalar multiple of u\boldsymbol{u} by cc, denoted by cuc\boldsymbol{u} is in VV
  7. c(u+v)=cu+cvc(\boldsymbol{u+v}) = c\boldsymbol{u}+c\boldsymbol{v}
  8. (c+d)u=cu+du(c+d)\boldsymbol{u}=c\boldsymbol{u} + d\boldsymbol{u}
  9. c(du)=(cd)uc(d\boldsymbol{u})=(cd)\boldsymbol{u}
  10. 1u=u1\boldsymbol{u}=\boldsymbol{u}

Vector space에 속한 원소들을 vector라고 하며, 추가적으로 두 개의 연산이 정의됩니다. 한 연사는 addition, 다른 연산은 scalar multiplication입니다. vector space에서 두 연산이 정의가 되기 위해서는 10가지의 공리를 만족해야 합니다. 따라서 위의 10가지 공리를 만족하는 집합 VV를 vector space라고 합니다.

위 공리에서 특히 중요한 공리는 다음 3개 입니다.

  1. There is a zero vector 0\boldsymbol{0} in VV such that 0+u=u\boldsymbol{0+u}=\boldsymbol{u}
  2. The sum of u\boldsymbol{u} and v\boldsymbol{v}, denoted by u+v\boldsymbol{u+v}, is in VV
  3. The scalar multiple of u\boldsymbol{u} by cc, denoted by cuc\boldsymbol{u} is in VV

첫 번째는 zero vector 유무입니다. Vector space는 반드시 zero vector를 포함합니다.

두 번째는 '덧셈에 대해 닫혀있다'입니다. 즉 VV에 있는 임의의 두 vector의 합 또한 VV에 존재해야 합니다.

세 번째는 'scalar multiplication에 닫혀있다'입니다. 즉 VV에 있는 임의의 vector와 임의의 scalar에 대해서, scalar multiplication 결과 역시 VV에 존재해야 합니다.

이 세 가지 조건을 만족하면, vector space를 정의할 때의 10가지 공리를 모두 만족하게 됩니다. 따라서 어떤 set이 vector space임을 확인할 때 위 세 조건을 만족 여부를 통해 확인하게 됩니다.


example

The space R3\mathbb{R}^3 : vector space

R3\mathbb{R}^3은 vector space입니다.

R3={[x1x2x3]∣x1,x2,x3∈R}\mathbb{R}^3 = \{\begin{bmatrix}x_1 \\ x_2 \\ x_3\end{bmatrix} \mid x_1, x_2, x_3 \in \mathbb R\}
  1. zero vector
0=[000]∈R3\boldsymbol{0} = \begin{bmatrix} 0 \\ 0 \\ 0 \end{bmatrix} \in \mathbb R^3

zero vector는 R3\mathbb R^3에 존재합니다.

  1. Addition
u,v∈R3u=[u1u2u3],v=[v1v2v3]u+v=[u1+v1u2+v2u3+v3]∈R3\boldsymbol{u, v} \in \mathbb R^3 \\ \boldsymbol{u} =\begin{bmatrix} u_1 \\ u_2 \\ u_3 \end{bmatrix}, \boldsymbol{v} =\begin{bmatrix} v_1 \\ v_2 \\ v_3 \end{bmatrix} \\ \boldsymbol{u+v} =\begin{bmatrix} u_1+v_1 \\ u_2+v_2 \\ u_3+v_3 \end{bmatrix} \in \mathbb R^3

R3\mathbb R^3에 있는 두 벡터의 합 또한 R3\mathbb R^3에 존재합니다. 따라서 덧셈에 대해 닫혀있습니다.

  1. Scalar multiplication
u∈R3,k∈Ru=[u1u2u3]ku=[ku1ku2ku3]∈R3\boldsymbol{u} \in \mathbb R^3, k \in \mathbb R \\ \boldsymbol{u} =\begin{bmatrix} u_1 \\ u_2 \\ u_3 \end{bmatrix} \\ k\boldsymbol{u} =\begin{bmatrix} ku_1 \\ ku_2 \\ ku_3 \end{bmatrix} \in \mathbb R^3

R3\mathbb R^3에 있는 벡터의 scalar multiple 값 또한 R3\mathbb R^3에 존재합니다. 따라서 scalar multiplication에 대해 닫혀있습니다.

따라서 R3\mathbb R^3는 vector space입니다.

이를 확장하면, Rn\mathbb R^n 또한 vector space임을 알 수 있습니다.


example

For n≥0n\geq 0, the set Pn\mathbb P_n of polynomials of degree at most nn consists of all polynomials of the form

p(t)=a0+a1t+⋯+antn\boldsymbol{p}(t)=a_0+a_1t+\cdots+a_nt^n

where all the coefficients a0,a1,...,ana_0, a_1, ..., a_n and the variable tt are real numbers. If all of coefficients a0,...,ana_0, ..., a_n are zero, this polynomial is called zero polynomial

차수가 nn보다 작거나 같은 모든 다항식을 모은 집합을 Pn\mathbb P_n이라 합시다. 이 때, Pn\mathbb P_n 역시 vector space가 됩니다.

  1. zero vector
a0=a1=...=an=0a_0=a_1=...=a_n=0

모든 coefficient가 0일 때, zero polynomial이 되고, zero polynomial이 zero vector의 역할을 합니다. (zero polynomial에 어떤 polynomial을 더하든 자기 자신이 나오기 때문이죠.)

  1. Addition
p(t)=a0+a1t+⋯+antnq(t)=b0+b1t+⋯+bntn\boldsymbol{p}(t)=a_0+a_1t+\cdots+a_nt^n \\ \boldsymbol{q}(t)=b_0+b_1t+\cdots+b_nt^n

라고 했을 때, 두 다항식의 합

p(t)+q(t)=(a0+a1t+⋯+antn)+(b0+b1t+⋯+bntn)=(a0+b0)+(a1+b1)t+⋯+(an+bn)tn\begin{aligned} \boldsymbol{p}(t)+\boldsymbol{q}(t)&=(a_0+a_1t+\cdots+a_nt^n) + (b_0+b_1t+\cdots+b_nt^n)\\ &=(a_0+b_0) + (a_1+b_1)t + \cdots + (a_n + b_n)t^n \end{aligned}

또한 Pn\mathbb P_n에 속합니다. 결과의 coefficient가 실수이기 때문입니다.

  1. Scalar multiplication
p(t)=a0+a1t+⋯+antn, k∈R\boldsymbol{p}(t)=a_0+a_1t+\cdots+a_nt^n , \ k \in \mathbb R

일 때,

kp(t)=k(a0+a1t+⋯+antn)=ka0+ka1t+⋯+kantnk\boldsymbol{p}(t)=k(a_0+a_1t+\cdots+a_nt^n) = ka_0+ka_1t+\cdots+ka_nt^n

가 되고, 이 역시 Pn\mathbb P_n에 속합니다.

위 세 가지 조건을 모두 만족하기 때문에, Pn\mathbb P_n 역시 vector space가 됩니다.


2) Subspace


집합에도 부분집합이 있듯이, vector space 역시 부분집합과 같은 개념인 subspace가 존재합니다.


Definition : Subspace

A subspace of a vector space VV is a subset HH of VV that has three properties

  1. The zero vector of VV is in HH
  2. HH is closed under vector addition. For each u,v\boldsymbol{u}, \boldsymbol{v} in HH, the sum u+v\boldsymbol{u+v} is in HH
  3. HH is closed under multiplication by scalars. For each u\boldsymbol{u} in HH and each scalar cc, the vector cuc\boldsymbol{u} is in HH

즉 subspace는 어떤 vector space의 부분집합이면서, vector space의 조건을 만족하는 집합입니다. Subspace가 되기 위한 조건은 총 4가지로

  1. HH는 VV의 부분집합이다.
  2. Zero vector가 HH에 존재해야 한다.
  3. HH는 덧셈에 대해 닫혀있다.
  4. HH는 scalar multiplication에 대해 닫혀있다.

입니다. 여기서 첫 번째 조건이 어떤 vector space에 포함된 subset 조건을 나타내고, 두 번째부터 마지막 조건은 vector space을 만족하기 위한 조건을 나타냅니다.

부분집합을 정의할 때 두 집합을 통해 정의하듯이, subspace가 정의되기 위해서는 두 vector space가 필요합니다.


example

  • Zero subspace

VV에 존재하는 zero vector만을 가지는 집합은 VV의 subspace가 됩니다. 이를 zero subspace라고 합니다.

{0}\{\boldsymbol{0}\}

다음 집합은 subspace의 조건을 만족합니다.

  1. {0}⊆V\{\boldsymbol{0}\} \subseteq V
  2. 0∈{0}\boldsymbol{0} \in \{\boldsymbol{0}\}
  3. u,v∈{0}⇒u=v=0,u+v=0\boldsymbol{u}, \boldsymbol{v} \in \{\boldsymbol{0}\} \Rightarrow \boldsymbol{u}= \boldsymbol{v}=\boldsymbol{0}, \boldsymbol{u}+ \boldsymbol{v}=\boldsymbol{0}
  4. u∈{0},k∈R⇒ku=0∈{0}\boldsymbol{u}\in \{\boldsymbol{0}\}, k \in \mathbb R \Rightarrow k\boldsymbol{u}= 0 \in \{\boldsymbol{0}\}

example

The vector space R2,R3\mathbb R^2, \mathbb R^3

R2\mathbb{R}^2와 R3\mathbb R^3는 다음과 같이 정의됩니다.

R2={[x1x2]∣x1,x2∈R}R3={[x1x2x3]∣x1,x2,x3∈R}\begin{aligned} \mathbb{R}^2 &= \{\begin{bmatrix}x_1 \\ x_2 \end{bmatrix} \mid x_1, x_2 \in \mathbb R\} \\ \\ \mathbb{R}^3 &= \{\begin{bmatrix}x_1 \\ x_2 \\ x_3\end{bmatrix} \mid x_1, x_2, x_3 \in \mathbb R\} \end{aligned}

두 집합 간 포함관계가 성립이 되지 않기 때문에, 두 vector space 간 subspace를 따질 수 없습니다.


example

한편 다음 집합 HH를 살펴봅시다.

H={[x1x20]∣x1,x2∈R}H= \{\begin{bmatrix}x_1 \\ x_2 \\ 0\end{bmatrix} \mid x_1, x_2 \in \mathbb R\}

HH의 경우 R3\mathbb R^3의 subspace가 됩니다.

  1. H⊆R3H \subseteq \mathbb R^3
  2. 0∈H\boldsymbol{0} \in H
  3. u,v∈H\boldsymbol{u}, \boldsymbol{v} \in H이면
u=[u1u20],v=[v1v20]\boldsymbol{u}=\begin{bmatrix}u_1 \\ u_2 \\ 0 \end{bmatrix}, \boldsymbol{v}=\begin{bmatrix}v_1 \\ v_2 \\ 0 \end{bmatrix}

가 되어

u+v=[u1+v1u2+v20]∈H\boldsymbol{u+v} = \begin{bmatrix}u_1+v_1 \\ u_2+v_2 \\ 0 \end{bmatrix} \in H

따라서 덧셈에 대해 닫혀 있습니다.

  1. u∈H,k∈R\boldsymbol{u} \in H, k \in R에 대해서
u=[u1u20]\boldsymbol{u} =\begin{bmatrix}u_1 \\ u_2 \\ 0 \end{bmatrix}

일 때

ku=[ku1ku20]∈Hk\boldsymbol{u} = \begin{bmatrix}ku_1 \\ ku_2 \\ 0 \end{bmatrix} \in H

따라서 scalar multiplication에도 닫혀 있습니다.

subspace 조건을 모두 만족하기 때문에, HH는 R3\mathbb R^3의 subspace입니다.

다음은 subspace와 span의 관계를 나타내는 정리에 대해 알아보겠습니다.


Theorem

If v1,v2,...,vp\boldsymbol{v_1}, \boldsymbol{v_2}, ..., \boldsymbol{v_p} are in a vector space VV, then

Span{v1,v2,...,vp}Span\{\boldsymbol{v_1}, \boldsymbol{v_2}, ..., \boldsymbol{v_p}\}

is a subspace of VV

이 정리를 통해, the subset spanned by vectors in VV(VV에 있는 vector로 spanned한 집합)은 subspace가 됩니다.

Given any subspace HH of VV, a spanning set for HH is a set {v1,v2,...,vp}\{\boldsymbol{v_1}, \boldsymbol{v_2}, ..., \boldsymbol{v_p}\} in HH such that

H=Span{v1,v2,...,vp}H=Span\{\boldsymbol{v_1}, \boldsymbol{v_2}, ..., \boldsymbol{v_p}\}

HH에 있는 특정 vector v1,v2,...,vp\boldsymbol{v_1}, \boldsymbol{v_2}, ..., \boldsymbol{v_p}을 span하여 HH를 만들었을 때, 이 vector들로 이루어진 집합을 Spanning set for HH라고 합니다.

(증명은 appendix 참고)


지금까지 vector space와 subspace에 대해 알아보았습니다. 다음 포스트에서는 linear transformation에 대해 알아보도록 하겠습니다. 질문이나 오류 있으면 댓글 남겨주세요! 감사합니다!


Appendix : Proof of Theorem


Theorem

If v1,v2,...,vp\boldsymbol{v_1}, \boldsymbol{v_2}, ..., \boldsymbol{v_p} are in a vector space VV, then

Span{v1,v2,...,vp}Span\{\boldsymbol{v_1}, \boldsymbol{v_2}, ..., \boldsymbol{v_p}\}

is a subspace of VV

  • Proof
H=Span{v1,v2,...,vp}={y∣y=c1v1+c2v2+⋯+cpvp,   c1,c2,...,cp∈R}H=Span\{\boldsymbol{v_1}, \boldsymbol{v_2}, ..., \boldsymbol{v_p}\} = \{\boldsymbol{y} \mid \boldsymbol{y}=c_1\boldsymbol{v_1}+c_2\boldsymbol{v_2}+\cdots+c_p\boldsymbol{v_p}, \ \ \ c_1, c_2, ..., c_p \in \mathbb R \}

Span의 정의는 span을 구성하는 set에 속하는 vector들의 linear combination을 모두 모은 집합니다. 따라서, 이 집합이 subspace가 되기 위한 4가지 조건을 만족하는지 확인하면 됩니다.

  1. H⊆VH \subseteq V

VV는 vector space이고, v1,v2,...,vp\boldsymbol{v_1}, \boldsymbol{v_2}, ..., \boldsymbol{v_p} 모두 VV에 속한 vector이기 때문에, v1,v2,...,vp\boldsymbol{v_1}, \boldsymbol{v_2}, ..., \boldsymbol{v_p}의 linear combination 또한 VV에 속합니다. 따라서 Span{v1,v2,...,vp}⊆VSpan\{\boldsymbol{v_1}, \boldsymbol{v_2}, ..., \boldsymbol{v_p}\} \subseteq V을 만족합니다.

  1. 0∈H\boldsymbol{0} \in H

c1=c2=...=cp=0c_1=c_2=...=c_p=0인 경우, zero vector가 됩니다.

  1. u,w∈H\boldsymbol{u}, \boldsymbol{w} \in H

HH에 속하는 두 vector u,w\boldsymbol{u}, \boldsymbol{w}을 다음과 같이 표현할 수 있습니다.

u=c1v1+c2v2+⋯+cpvpw=d1v1+d2v2+⋯+dpvp\boldsymbol{u}=c_1\boldsymbol{v_1}+c_2\boldsymbol{v_2}+\cdots+c_p\boldsymbol{v_p} \\ \boldsymbol{w}=d_1\boldsymbol{v_1}+d_2\boldsymbol{v_2}+\cdots+d_p\boldsymbol{v_p}

두 vector를 더하면

u+v=(c1v1+c2v2+⋯+cpvp)+(d1v1+d2v2+⋯+dpvp)=(c1+d1)v1+(c2+d2)v2+⋯+(cp+dp)vp∈H\begin{aligned} \boldsymbol{u}+\boldsymbol{v}&=(c_1\boldsymbol{v_1}+c_2\boldsymbol{v_2}+\cdots+c_p\boldsymbol{v_p})+(d_1\boldsymbol{v_1}+d_2\boldsymbol{v_2}+\cdots+d_p\boldsymbol{v_p}) \\ &=(c_1+d_1)\boldsymbol{v_1}+(c_2+d_2)\boldsymbol{v_2}+\cdots+(c_p+d_p)\boldsymbol{v_p} \in H \end{aligned}

가 되고 HH에 속합니다. 따라서 HH는 덧셈에 대해 닫혀있습니다.

  1. u∈H,k∈R\boldsymbol{u} \in H, k \in \mathbb R

HH에 속하는 u\boldsymbol{u}와 scalar kk에 대해서

ku=k(c1v1+c2v2+⋯+cpvp)=kc1v1+kc2v2+⋯+kcpvp∈H\begin{aligned} k\boldsymbol{u} &=k(c_1\boldsymbol{v_1}+c_2\boldsymbol{v_2}+\cdots+c_p\boldsymbol{v_p}) \\ &= kc_1\boldsymbol{v_1}+kc_2\boldsymbol{v_2}+\cdots+kc_p\boldsymbol{v_p} \in H \end{aligned}

가 되고 마찬가지로 HH에 속합니다. 따라서 HH는 scalar multiplication에 대해 닫혀있습니다.

HH는 VV의 subspace가 되기 위한 4가지 조건을 모두 만족하기 때문에, HH는 VV의 subspace입니다.

profile
Jaehyun_onelion
데이터 분석가 새싹
이전 포스트

3.3 Cramer's Rule

다음 포스트

4.2 Linear transformation (1)

0개의 댓글