6.1 Inner Product, Length, Orthogonality

Jaehyun_onelion·2023년 3월 17일
Linear Algebra선형대수학
0

선형대수학

목록 보기
30/42

이번 포스트에서는 inner product, length, orthogonality에 대해서 알아보도록 하겠습니다.


1) Inner Product


Rn\mathbb R^n에 속하는 두 벡터 v,u\boldsymbol{v}, \boldsymbol{u} 간의 inner product는 다음과 같이 정의됩니다.


Definition : Inner product

If v,u∈Rn\boldsymbol v, \boldsymbol u \in \mathbb R^n, such that

u=[u1⋮un],  v=[v1⋮vn]\boldsymbol{u} =\begin{bmatrix}u_1 \\ \vdots \\ u_n\end{bmatrix}, \ \ \boldsymbol{v} = \begin{bmatrix}v_1 \\ \vdots \\ v_n \end{bmatrix}

The number vTu\boldsymbol v ^T \boldsymbol u is called the inner product of u\boldsymbol{u} and v\boldsymbol{v}.

u⋅v=vTu=u1v1+⋯+unvn=Σi=1nuivi\boldsymbol u \cdot \boldsymbol v = \boldsymbol v^T \boldsymbol u = u_1v_1+\cdots +u_nv_n = \Sigma_{i=1}^nu_iv_i

즉 각각 벡터의 같은 위치의 성분을 더하고 합한 것을 두 벡터의 inner product, 내적이라고 합니다. 정의에서 알 수 있듯이 같은 공간 Rn\mathbb R^n에 있는 두 벡터 간의 연산입니다.


example

u=[213],  v=[42−1]\boldsymbol{u} =\begin{bmatrix}2 \\ 1 \\ 3\end{bmatrix}, \ \ \boldsymbol{v} = \begin{bmatrix}4 \\ 2 \\ -1 \end{bmatrix}

일 때

u⋅v=vTu=2×4+1×2+3×(−1)=7\boldsymbol{u}\cdot \boldsymbol{v} = \boldsymbol{v}^T\boldsymbol u = 2\times4 + 1\times 2 + 3\times (-1) = 7

(1) Property of the inner product


Inner product에 대한 성질은 다음과 같습니다.


Property of inner product

If u,v,w∈Rn\boldsymbol{u, v, w} \in \mathbb R^n and k∈Rk \in \mathbb R

  1. u⋅v=v⋅u\boldsymbol{u}\cdot\boldsymbol{v} = \boldsymbol{v}\cdot\boldsymbol{u}
  2. (u+v)⋅w=u⋅w+v⋅w(\boldsymbol{u}+\boldsymbol{v})\cdot\boldsymbol{w} = \boldsymbol{u}\cdot\boldsymbol{w}+\boldsymbol{v}\cdot\boldsymbol{w}
  3. (cu)⋅v=c(u⋅v)(c\boldsymbol{u})\cdot \boldsymbol{v} = c(\boldsymbol{u}\cdot \boldsymbol{v})
  4. u⋅u≥0\boldsymbol{u}\cdot\boldsymbol{u}\geq 0, u⋅u=0\boldsymbol{u}\cdot \boldsymbol{u}=0 if and only if u=0\boldsymbol{u}=0

inner product는 교환법칙이 성립합니다. 두 번째로 분배 법칙 또한 성립합니다. 세 번째는, scalar multiple에 대해서 inner product와의 연산 순서를 바꾸어도 결과는 변하지 않습니다. 마지막 성질이 inner product의 중요한 성질 중 하나인데, 같은 벡터의 inner product는 항상 0보다 크고, inner product 값이 0이 나오는 벡터는 zero vector만 존재합니다.


2) The length of a vector


Definition : Length

The length (or norm, 크기) of v\boldsymbol v is the non negative scalar.

∥v∥=v12+⋯+vn2,  ∥v∥2=v⋅v\|\boldsymbol v \| = \sqrt{v_1^2 + \cdots + v_n^2}, \ \ \|\boldsymbol{v}\|^2 = \boldsymbol{v} \cdot \boldsymbol{v}

어떤 벡터의 length, norm, 크기는 해당 벡터의 inner product에 루트를 취한 값으로 정의합니다.

여기서 vector의 length가 1인 벡터를 unit vector라고 합니다.


example

v=(1,−2,2,0)\boldsymbol{v} = (1, -2, 2, 0)

일 때

∥v∥=v⋅v=1+4+4=3\|\boldsymbol{v}\| = \sqrt{\boldsymbol v \cdot \boldsymbol v} = \sqrt{1 + 4 + 4} =3

(1) Properties of length


length에 대한 성질은 다음과 같습니다.


Property of length

Let v∈Rn,  k∈R\boldsymbol v \in \mathbb R^n, \ \ k\in \mathbb R

  1. ∥cv∥=∣c∣∥v∥\|c\boldsymbol{v}\| = \begin{vmatrix}c\end{vmatrix}\|\boldsymbol{v}\|
  2. Normalizing : devide a nonzero vector v\boldsymbol{v} by its length - unit vector 1∥v∥v\frac{1}{\|\boldsymbol v\|}\boldsymbol v

첫 번째로 scalr multiple한 벡터의 length는 원래 벡터의 length에 scalar의 절댓값을 취한 값을 곱한 값으로 결과가 나옵니다. 두 번째는, 임의의 nonzero 벡터를 그 벡터의 length로 나누어서 unit vector로 만들 수 있습니다. normalizing을 한 벡터는 원래 벡터와 방향은 같지만 length는 1인 unit vector가 됩니다.


3) Distance


Definition : Distance

If u,v∈Rn\boldsymbol{u, v} \in \mathbb R^n, the distance between u\boldsymbol{u} and v\boldsymbol v is the length of the vector u−v\boldsymbol{u-v}

dist(u,v)=∥u−v∥dist(\boldsymbol{u}, \boldsymbol{v}) = \|\boldsymbol{u-v}\|

두 벡터 사이의 거리는 두 벡터의 차의 크기로 정의합니다.

R2\mathbb R^2의 경우, 우리가 알고 있는 두 점 사이의 거리와 결과가 같습니다. 이전 벡터에 대해서 설명할 때, 시점을 원점으로 고정시키면 벡터와 점은 일대일 대응이 가능하다고 하였습니다. 이를 통해 두 벡터간 거리와 점과 점 사이의 거리 식이 같은 것을 알 수 있습니다.

x=[x1x2],  y=[y1y2]\boldsymbol{x} = \begin{bmatrix} x_1 \\ x_2 \end{bmatrix}, \ \ \boldsymbol{y} = \begin{bmatrix} y_1 \\ y_2 \end{bmatrix}

의 경우 위 벡터를 점으로 보면, 두 점 사이의 거리는

(x1−y1)2+(x2−y2)2=∥x−y∥2=∥x−y∥\sqrt{(x_1-y_1)^2 + (x_2-y_2)^2} = \sqrt{\|\boldsymbol{x} -\boldsymbol{y}\|^2} = \|\boldsymbol{x-y}\|

인 것을 알 수 있습니다.


4) Orthogonal Vectors


Definition : Orthogonal vectors

Two vectors u,v∈Rn\boldsymbol{u, v} \in \mathbb R^n are orthogonal if

u⋅v=0  ⟺  u⊥v\boldsymbol{u}\cdot \boldsymbol{v} =0 \iff \boldsymbol{u}\perp\boldsymbol{v}

The zero vector is orthogonal to every vector in Rn\mathbb R^n

두 벡터가 orthogonal(직교, 수직)이라는 것은 두 벡터의 inner product값이 0이 되는 것을 뜻합니다.


Theorem

Two vectors u,v\boldsymbol{u, v} are orthogonal if and only if

∥u+v∥2=∥u∥2+∥v∥2\|\boldsymbol{u+v}\|^2 =\|\boldsymbol{u}\|^2 + \|\boldsymbol{v}\|^2

orthogonal의 정의를 이용하면 쉽게 밝힐 수 있습니다.


5) Orthogonal complements


Supspace에서 orthogonal 개념을 이용하여 새로운 집합인 orthogonal complement을 정의할 수 있습니다.


Definition : Orthogonal Complements

If a vector z\boldsymbol{z} is orthogonal to every vector in a subspace WW of Rn\mathbb R^n, then z\boldsymbol{z} is orthogonal to WW.

The Set of all vectors z\boldsymbol{z} that are orthogonal to WW is orthogonal complement of WW

W⊥={z∣z⋅w=0  for  all  w∈W}W^\perp = \{\boldsymbol{z} \mid \boldsymbol{z}\cdot\boldsymbol{w} = 0 \ \ for \ \ all \ \ \boldsymbol{w} \in W \}

벡터 z\boldsymbol{z}가 subspace WW에 있는 모든 벡터와 orthogonal하면, z\boldsymbol{z}는 WW에 orthogonal합니다. 이 때, WW에 orthogonal한 모든 벡터를 모은 집합을 WW의 orthogonal complement라고 합니다.

아래의 정리들을 통해 orthogonal complement의 특징을 확인할 수 있습니다.


Theorem

A vector x\boldsymbol x is in W⊥W^\perp if and only if x\boldsymbol{x} is orthogonal to every vector in a set that spans WW

x\boldsymbol{x}가 WW에 orthogonal하려면 WW에 있는 모든 벡터와 x\boldsymbol{x}가 orthogonal한지 확인해야 하지만, 위 정리는 WW를 span하는 벡터들만 확인하여 orthogonality를 파악할 수 있습니다. Subspace WW에 속한 벡터가 너무 많다면, 이를 잘 설명할 수 있는, basis를 생각할 수 있는데, basis 조건 중 하나가 basis로 WW를 span해야하는 조건입니다. 위 정리를 통해 WW의 basis 벡터와 orthogonal한지 확인함으로써 어떤 벡터가 WW에 orthogonal한지 파악할 수 있습니다.


Theorem

W⊥W^\perp is a subspace of Rn\mathbb R^n

WW의 orthogonal complement 또한 subspace입니다.


Theorem

Let AA be an m×nm \times n matrix. The orthogonal complement of the row space of AA is the null space of AA

The orthogonal complement of the column space of AA is the null space of ATA^T

(RowA)⊥=NulA,  (ColA)⊥=NulAT(RowA)^\perp = NulA, \ \ (ColA)^\perp = NulA^T

matrix로 정의되는 subspace간 orthogonal 관계를 설명한 정리입니다. Row space의 orthogonal complement는 null space가 됩니다. ColAColA는 RowATRowA^T와 같다는 점을 이용하면 (ColA)⊥=NulAT(ColA)^\perp = NulA^T인 것을 쉽게 확인할 수 있습니다.


Theorem

Let WW be a subspace of Rn\mathbb R^n. Then

dim⁡W+dim⁡W⊥=n\dim W +\dim W^\perp = n

어떤 subspace WW의 dimension과 WW의 orthogonal complement의 dimension의 합은 둘을 포함하는 vector space(Rn\mathbb R^n)의 diemension이 됩니다.


지금까지 inner product, length, distance, orthogonality, orthogonal complement에 대해 알아보았습니다. 다음 포스트에서는 orthogonal set에 대해서 알아보겠습니다. 질문이나 오류 있으면 댓글 남겨주세요! 감사합니다!


Appendix : Proof of Theorem


Theorem

Two vectors u,v\boldsymbol{u, v} are orthogonal if and only if

∥u+v∥2=∥u∥2+∥v∥2\|\boldsymbol{u+v}\|^2 =\|\boldsymbol{u}\|^2 + \|\boldsymbol{v}\|^2

  • Proof
∥u+v∥2=(u+v)⋅(u+v)=∥u∥2+u⋅v+v⋅u+∥v∥2=∥u∥2+2u⋅v+∥v∥2=∥u∥2+∥v∥2\begin{aligned} \|\boldsymbol{u+v}\|^2 &= (\boldsymbol{u+v})\cdot(\boldsymbol{u+v}) \\ &= \|\boldsymbol{u}\|^2 + \boldsymbol{u}\cdot\boldsymbol{v} +\boldsymbol{v}\cdot\boldsymbol{u} + \|\boldsymbol{v}\|^2 \\ &=\|\boldsymbol{u}\|^2 + 2\boldsymbol{u}\cdot\boldsymbol{v}+ \|\boldsymbol{v}\|^2 \\ &= \|\boldsymbol{u}\|^2+ \|\boldsymbol{v}\|^2 \end{aligned}

이는

u⋅v=0\boldsymbol u \cdot \boldsymbol v = 0

을 뜻하므로, 두 벡터가 orthogonal한 것을 뜻합니다.


Theorem

A vector x\boldsymbol x is in W⊥W^\perp if and only if x\boldsymbol{x} is orthogonal to every vector in a set that spans WW


  • Proof

Proof of ⇒\Rightarrow

x\boldsymbol{x}가 W⊥W^\perp에 속하므로, WW에 속한 모든 vector와 orthogonal합니다. 즉, WW를 span하는 vector 역시 WW에 포함하므로, x\boldsymbol{x}는 WW를 span하는 set에 속한 vector와 orthogonal합니다.


Proof of ⇐\Leftarrow

W=SpanSW =Span{S}

을 만족하는 S={v1,...,vp}S=\{\boldsymbol{v_1}, ..., \boldsymbol{v_p}\}에 대해서

vj⊥x,j=1,...,p\boldsymbol{v_j} \perp \boldsymbol{x}, j=1,...,p

를 만족합니다. 이 때, y∈W\boldsymbol{y} \in W인 y\boldsymbol{y}는 다음과 같이

y=c1v1+⋯+cpvp\boldsymbol{y}=c_1\boldsymbol{v_1}+\cdots+c_p\boldsymbol{v_p}

표현할 수 있습니다. 해당 벡터와 x\boldsymbol{x}를 inner product 연산을 하면

x⋅y=x⋅(c1v1+⋯+vp)=c1x⋅v1+⋯+cpx⋅vp=0\begin{aligned} \boldsymbol{x}\cdot\boldsymbol{y}&=\boldsymbol{x}\cdot(c_1\boldsymbol{v_1}+\cdots+\boldsymbol{v_p}) \\ &=c_1\boldsymbol{x}\cdot\boldsymbol{v_1}+\cdots + c_p\boldsymbol{x}\cdot\boldsymbol{v_p} \\ &=0 \end{aligned}

이 되므로, WW에 속한 모든 벡터에 대해서 orthogonal하므로

x∈W⊥\boldsymbol{x} \in W^\perp

가 성립합니다.


Theorem

W⊥W^\perp is a subspace of Rn\mathbb R^n


  • Proof
W⊥={z∣z⋅w=0  for  all  w∈W}W^\perp = \{\boldsymbol{z} \mid \boldsymbol{z}\cdot\boldsymbol{w} = 0 \ \ for \ \ all \ \ \boldsymbol{w} \in W \}

이므로, z∈W⊥⊂Rn\boldsymbol{z} \in W^\perp \subset \mathbb R^n을 만족합니다.

  1. zero vector는 Rn\mathbb R^n에 속한 모든 벡터와 orthogonal하므로 WW에 속한 모든 벡터와 orthogonal합니다. 따라서 0∈W⊥0\in W^\perp
  2. u,v∈W⊥\boldsymbol{u, v} \in W^\perp이면, 모든 y∈Wy\in W에 대해서 u⋅y=0,v⋅y=0\boldsymbol{u}\cdot\boldsymbol{y}=0, \boldsymbol{v}\cdot\boldsymbol{y}=0임을 만족합니다. 이 때 모든 y∈W\boldsymbol{y} \in W에 대해서
(u+v)⋅y=u⋅y+v⋅y=0(\boldsymbol{u}+\boldsymbol{v})\cdot \boldsymbol{y} = \boldsymbol{u}\cdot \boldsymbol{y} + \boldsymbol{v} \cdot \boldsymbol{y} = 0

을 만족하므로, u+v∈W⊥\boldsymbol{u+v} \in W^\perp입니다.

  1. u∈W⊥\boldsymbol{u} \in W^\perp이고, scalar kk, 임의의 y∈W\boldsymbol y \in W에 대해
(ku)⋅y=k(u⋅y)=0(k\boldsymbol{u})\cdot \boldsymbol{y} = k(\boldsymbol{u}\cdot \boldsymbol{y}) =0

을 만족하므로, ku∈W⊥k\boldsymbol{u} \in W^\perp입니다.

따라서, subspace의 조건을 모두 만족하였기 때문에, W⊥W^\perp는 Rn\mathbb R^n의 subspace입니다.


Theorem

Let AA be an m×nm \times n matrix. The orthogonal complement of the row space of AA is the null space of AA

The orthogonal complement of the column space of AA is the null space of ATA^T

(RowA)⊥=NulA,  (ColA)⊥=NulAT(RowA)^\perp = NulA, \ \ (ColA)^\perp = NulA^T

  • Proof

RowARowA의 orthogonal complement는 다음의 조건을 만족해야합니다.

(RowA)⊥={x∈Rn∣x⋅y=0 for  all  y∈RowA}(RowA)^\perp = \{\boldsymbol{x} \in \mathbb R^n \mid \boldsymbol{x}\cdot \boldsymbol{y} = 0 \ for \ \ all \ \ \boldsymbol{y} \in RowA \}

y\boldsymbol{y}는 AA의 row의 linear combination으로 표현됩니다. matrix A를

A=[−a1−⋮−am−]A = \begin{bmatrix} -\boldsymbol{a_1}- \\ \vdots \\ -\boldsymbol{a_m}- \end{bmatrix}

으로 표현하면(ai∈Rn\boldsymbol{a_i}\in \mathbb R^n),

ai⋅x=0\boldsymbol{a_i}\cdot\boldsymbol{x} =0

을 만족해야 하고, 이는

[−a1−⋮−am−]x=[a1⋅x⋮am⋅x]=0\begin{bmatrix} -\boldsymbol{a_1}- \\ \vdots \\ -\boldsymbol{a_m}- \end{bmatrix}\boldsymbol{x} = \begin{bmatrix} \boldsymbol{a_1}\cdot\boldsymbol{x} \\ \vdots \\ \boldsymbol{a_m}\cdot\boldsymbol{x} \end{bmatrix} = 0

임을 뜻합니다. 이는

Ax=0A\boldsymbol{x}=0

을 만족하므로, x∈NulA\boldsymbol{x} \in NulA입니다.

ColA=RowATColA = RowA^T이므로, (ColA)⊥=(RowAT)⊥=NulAT(ColA)^\perp = (RowA^T)^\perp = NulA^T가 성립합니다.


Theorem

Let WW be a subspace of Rn\mathbb R^n. Then

dim⁡W+dim⁡W⊥=n\dim W +\dim W^\perp = n

  • Proof

WW의 basis를 BW={v1,...,vk}B_W = \{\boldsymbol{v_1}, ..., \boldsymbol{v_k}\}, W⊥W^\perp의 basis를 BW⊥={u1,...,up}B_{W^\perp}=\{\boldsymbol{u_1}, ..., \boldsymbol{u_p}\}라 하였을 때

BW∪BW⊥={v1,...,vk,u1,...,up}B_W \cup B_{W^\perp} = \{\boldsymbol{v_1}, ..., \boldsymbol{v_k}, \boldsymbol{u_1}, ..., \boldsymbol{u_p}\}

가 Rn\mathbb R^n의 basis가 되는 것을 밝히면 됩니다.

Rn\mathbb R^n에 속하는 vector x\boldsymbol x는 다음과 같이 표현할 수 있습니다.

x=x1+x2,where  x1∈W,  x2∈W⊥\boldsymbol{x} = \boldsymbol{x_1} + \boldsymbol{x_2} , \\ where \ \ \boldsymbol{x_1} \in W, \ \ \boldsymbol{x_2}\in W^\perp

(이 후 projection의 개념을 알게 되면, 모든 벡터는 다음과 같이 어떤 subspace의 벡터와 subspace의 orthogonal complement에 속한 벡터의 합으로 표현이 가능한 것을 이해할 수 있습니다. )

x1∈W\boldsymbol{x_1} \in W이므로

x1=c1v1+⋯+ckvk\boldsymbol{x_1}=c_1\boldsymbol{v_1}+\cdots +c_k \boldsymbol{v_k}

가 되고, x2∈W⊥\boldsymbol{x_2} \in W^\perp이므로

x2=d1u1+⋯+dkup\boldsymbol{x_2} = d_1\boldsymbol{u_1}+\cdots + d_k \boldsymbol{u_p}

가 되므로

x=c1v1+⋯+ckvk+d1u1+⋯+dpup\boldsymbol{x} = c_1\boldsymbol{v_1} +\cdots + c_k\boldsymbol{v_k} + d_1\boldsymbol{u_1} +\cdots +d_p\boldsymbol{u_p}

임을 알 수 있습니다. 즉 BW∪BW⊥B_W \cup B_{W^\perp}는 Rn\mathbb R^n을 span합니다.

다음으로, BW∪BW⊥B_W\cup B_{W^\perp}가 linearly independent함을 밝혀야 합니다. 이를 밝히기 위해 다음 equation

c1v1+⋯ckvk+d1u1+⋯+dpup=0c_1\boldsymbol{v_1}+\cdots c_k\boldsymbol{v_k} + d_1\boldsymbol{u_1}+\cdots + d_p\boldsymbol{u_p}=0

이 trivial solution을 가짐을 밝혀야 합니다. 먼저 BW,BW⊥B_W, B_{W^\perp}는 basis이므로 각각 linearly independent합니다. 따라서 만약의 위의 식이 non-trivial solution을 가진다면 c1,...,ckc_1,... ,c_k 중 적어도 하나가 0이 아니고, d1,...,dpd_1, ..., d_p 중 적어도 하나가 0이 아니어야 합니다. 이 말은 즉, 특정 벡터 vjv_j가 BW⊥B_{W^\perp}의 linear combination으로 표현이 가능하나는 것을 뜻합니다.(또는 uj\boldsymbol{u_j}가 BWB_W의 linear combination으로 표현된다는 것을 뜻합니다. )

하지만,

W∩W⊥={0}W\cap W^\perp = \{0\}

를 만족하기 때문에, vj\boldsymbol{v_j}가 BW⊥B_{W^\perp}의 linear combination으로 표현되거나, uj\boldsymbol{u_j}가 BWB_W의 linear combination으로 표현될 수 없습니다. 따라서 BW∪BW⊥B_W \cup B_{W^\perp}는 linearly independent합니다.

(W∩W⊥={0}W\cap W^\perp = \{0\}인 이유는, x∈W,x∈W⊥\boldsymbol{x} \in W, \boldsymbol{x} \in W^\perp이면, x⋅x=0\boldsymbol{x} \cdot \boldsymbol{x} = 0을 만족해야 하는데, 이를 만족하는 x\boldsymbol{x}는 zero vector밖에 없기 때문입니다.)

profile
Jaehyun_onelion
데이터 분석가 새싹
이전 포스트

5.4 Complex Eigenvalue

다음 포스트

6.2 Orthogonal Set

0개의 댓글