선형대수 6-1. 내적공간

milkbuttercheese·2023년 1월 14일
선형대수
0

AI를 위한 선형대수

목록 보기
9/14

6-1. 내적공간과 직교여공간

1.내적inner  productinner\,\, product이란 무엇인가?

  • 조건
    - FF- 벡터공간 VV가 있다고 하자. 그리고 벡터 x,y∈Vx,y \in V, 스칼라 c∈Fc\in F가 있다고 하자
  • 정의
    - 내적은 벡터 ⟨x,y⟩\langle x,y \rangle 순서쌍을 스칼라에 대응시키는 함수이면서 다음의 조건을 만족시킨다
    - ⟨x+z,y⟩=⟨x,y⟩+⟨z,y⟩\langle x+z,y \rangle= \langle x, y \rangle + \langle z,y \rangle
    - ⟨cx,y⟩=c⟨x,y⟩\langle cx,y \rangle=c\langle x,y \rangle
    - ⟨x,y⟩‾=⟨y,x⟩\overline{\langle x,y\rangle}= \langle y,x \rangle (zˉ(\bar{z}는 zz의 켤레복소수를 의미하는 것으로 표기함)
    - x≠0x \ne 0 일때 ⟨x,x⟩>0\langle x,x\rangle>0

특별한 예 1: FnF^n의 표준 내적standard  inner  productstandard\,\,inner\,\,product

  • 조건
    - 두 벡터 x,y∈Fnx,y\in F^n 가 있어 각각 x=(x1,x2,...,xn),y=(y1,y2,...,yn)x=(x_1,x_2,...,x_n), y=(y_1,y_2,...,y_n)으로 정의된다고 하자
  • 정의
    - ⟨x,y⟩=∑i=1nxiyiˉ\langle x,y \rangle= \sum_{i=1}^{n}x_i \bar{y_i} 로 정의한다

특별한 예 2: Frobenius  inner  productFrobenius \,\,inner\,\,product

  • 조건
    - 두 행렬 A,B∈Mn×n(F)\boldsymbol{A,B} \in \boldsymbol{M}_{n\times n}(F)가 있다고 하자
  • 정의
    - ⟨A,B⟩=tr(B∗A)\langle A,B \rangle =tr(\boldsymbol{B}^*\boldsymbol{A})

이에 따라오는 성질 1

  • 조건
    - 내적공간 VV가 있다고 하자. 벡터 x,y,z∈Vx,y,z\in V이고, 스칼라 c∈Fc \in F라고 하자
  • 정리
    - ⟨x,y+z⟩=⟨x,y⟩+⟨x,z⟩\langle x,y+z \rangle = \langle x,y \rangle+ \langle x,z \rangle
    - ⟨x,cy⟩=cˉ⟨x,y⟩\langle x,cy \rangle = \bar{c}\langle x,y \rangle
    - ⟨x,0⟩=⟨0,x⟩=0\langle x,0 \rangle= \langle 0,x \rangle = 0
    - ⟨x,x⟩=0\langle x,x \rangle=0 은 x=0x=0 과 동치이다
    - 모든 x∈Vx \in V에 대해 ⟨x,y⟩=⟨x,z⟩\langle x,y \rangle= \langle x,z\rangle 이면 y=zy=z이다
  • 증명
    - ⟨x,y+z⟩=⟨y+z,x⟩‾=⟨y,x⟩‾+⟨z,x⟩‾=⟨x,y⟩+⟨x,z⟩\langle x,y+z \rangle =\overline{ \langle y+z, x \rangle}=\overline{\langle y,x \rangle}+\overline{\langle z,x \rangle}=\langle x,y \rangle +\langle x,z \rangle
    - ⟨x,cy⟩=⟨cy,x⟩‾=c‾⟨y,x⟩‾=c‾⟨x,y⟩\langle x,cy \rangle = \overline{\langle cy,x \rangle}= \overline{c}\overline{\langle y,x \rangle}=\overline{c}\langle x,y \rangle
    - 적당한 w∈Vw \in V가 있다고 하자. ⟨x,0⟩=⟨x,w−w⟩=⟨x,w⟩−⟨x,w⟩=0\langle x,0 \rangle=\langle x,w-w \rangle= \langle x,w \rangle -\langle x,w \rangle =0 반대의 경우도 똑같이 증명된다
    - 4번 정리는 정의에서 비롯되어 자명하다
    - 모든 x∈Vx\in V에 대해 ⟨x,y−z⟩=0\langle x,y-z \rangle=0 이므로 x=y−zx=y-z 일때의 경우를 고려하자. 이 경우에서 ⟨y−z,y−z⟩=0\langle y-z, y-z \rangle=0 이므로 y−z=0y-z=0 이므로 y=zy=z이다
  • 노름의 정의
    • 조건
      • 내적공간 VV와 벡터 x∈Vx \in V가 있다고 하자
    • 정의
      • ∥x∥=⟨x,x⟩\|x\|=\sqrt{\langle x,x\rangle} , xx의 노름이라고 정의한다

이에 따라오는 성질 2

  • 조건
    - 내적공간 VV가 있다고 하자. 벡터 x,y∈Vx,y \in V이고 스칼라 c∈Fc \in F라 하자
  • 정리
    - ∥cx∥=∣c∣⋅∥x∥\|cx\|=|c|\cdot\|x\|
    - ∥x∥=0\|x\|=0 은 ‘x=0x=0이다. 또는 모든 xx에 대해 ∥x∥≥0\|x\| \ge0이다’ 와 동치이다
    - 코시-슈바르츠-부동식 Cauchy−Schwarz  inequalityCauchy-Schwarz \,\,inequality
    - ∣⟨x,y⟩∣≤∥x∥⋅∥y∥|\langle x,y\rangle| \le \|x\|\cdot\|y\|
    - 삼각부등식 triangle  inequalitytriangle\,\,inequality
    - ∥x+y∥≤∥x∥+∥y∥\|x+y\| \le \|x\|+\|y\|
  • 증명
    - ⟨cx,cx⟩=ccˉ⟨x,x⟩=∣c∣2∥x∥2\langle cx,cx \rangle = c\bar{c} \langle x,x \rangle=|c|^2 \|x\|^2 ∥cx∥=⟨cx,cx⟩=∣c∣⋅∥x∥\|cx\|=\sqrt{\langle cx,cx \rangle}=|c| \cdot \|x\|
    - 자명하다
    - Cauchy−Schuwarz  inequalityCauchy-Schuwarz\,\,inequality (∣⟨x,y⟩∣≤∥x∥⋅∥y∥)(|\langle x,y\rangle| \le \|x\|\cdot\|y\|) 증명
    - y=0y=0 인 경우 등식이 성립한다
    - y≠0y \ne 0 인 경우를 고려하자
    - c=⟨x,y⟩⟨y,y⟩c= \displaystyle\frac{\langle x,y \rangle}{\langle y,y \rangle}이라고 하자
    - 0≤⟨x−cy,x−cy⟩=⟨x,x−cy⟩−c⟨y,x−cy⟩0\le \langle x-cy,x-cy \rangle=\langle x,x-cy \rangle-c \langle y,x-cy \rangle
    - =⟨x,x⟩−cˉ⟨x,y⟩−c⟨y,x⟩+ccˉ⟨y,y⟩=\langle x,x \rangle - \bar{c}\langle x,y \rangle -c\langle y,x \rangle+ c\bar{c}\langle y,y\rangle
    - =⟨x,x⟩−⟨y,x⟩⟨y,y⟩⟨x,y⟩−⟨x,y⟩⟨y,y⟩⟨y,x⟩+⟨x,y⟩⟨y,x⟩⟨y,y⟩=\langle x,x \rangle- \displaystyle\frac{\langle y,x \rangle}{\langle y,y \rangle}\langle x,y \rangle- \displaystyle\frac{\langle x,y \rangle}{\langle y,y \rangle}\langle y,x \rangle +\displaystyle\frac{\langle x,y \rangle \langle y,x \rangle}{\langle y,y \rangle}
    - 0≤⟨x,x⟩⟨y,y⟩−⟨x,y⟩⟨y,x⟩0 \le \langle x,x \rangle \langle y,y \rangle- \langle x,y \rangle \langle y,x \rangle
    - ⟨x,y⟩⟨y,x⟩≤⟨x,x⟩⟨y,y⟩\langle x,y \rangle \langle y,x \rangle \le \langle x,x \rangle \langle y,y \rangle
    - ∣⟨x,y⟩∣≤∣x∣⋅∣y∣|\langle x,y \rangle| \le |x|\cdot|y|
  • triangular  inequality   (∥x+y∥≤∥x∥+∥y∥)triangular\,\,inequality \,\,\,(\|x+y\| \le \|x\|+\|y\|) 증명
    - ∥x+y∥2=⟨x+y,x+y⟩=⟨x,x+y⟩+⟨y,x+y⟩=⟨x,x⟩+⟨x,y⟩+⟨y,x⟩+⟨y,y⟩\|x+y\|^2= \langle x+y,x+y \rangle = \langle x,x+y \rangle + \langle y,x+y \rangle= \langle x,x \rangle +\langle x,y \rangle+\langle y,x \rangle +\langle y,y \rangle
    - =∥x∥2+∥y∥2+2Re(⟨x,y⟩)=\|x\|^2+\|y\|^2 + 2\mathcal{Re}(\langle x,y \rangle )
    - ≤∥x∥2+∥y∥2+2∣⟨x,y⟩∣\le \|x\|^2 +\|y\|^2+ 2|\langle x,y\rangle |
    - ≤∥x∥2+∥y∥2+2∥x∥⋅∥y∥=(∥x∥+∥y∥)2\le \|x\|^2+\|y\|^2+2\|x\|\cdot\|y\|=(\|x\|+\|y\|)^2
    - ∥x∥+∥y∥≥∥x+y∥\|x\|+\|y\| \ge \|x+y\|

1-2. 용어들

직교 orthogonalorthogonal / 수직perpendicularperpendicular

  • 조건
    - 내적공간 VV가 있고, 두 벡터 x,y∈Vx,y \in V가 있다고 하자
  • 정의
    - ⟨x,y⟩=0\langle x,y \rangle =0 이면 두 벡터는 직교/ 수직 이라고 정의한다

직교집합

  • 조건
    - VV의 부분집합 SS가 있다고 하자
  • 정의
    - SS에 속하는 서로 다른 임의의 두 벡터가 직교할 떄 SS를 직교집합이라 부른다

정규직교orthonormalorthonormal집합

  • 정의
    - SS에 속하는 서로 다른 임의의 두 벡터가 직교하고, SS의 원소가 단위벡터로만 이루어져있다면 SS를 정규직교집합이라 부른다

2. 정규직교기저란?

  • 내적공간 VV의 순서기저가 정규직교집합인 것이다

관련 정리

  • 조건
    - 내적공간 VV가 있고 VV의 직교 부분집합 S={v1,v2,...,vk}S=\{v_1,v_2,...,v_k\}가 있다고 하자
    - y∈span(S)y \in span(S)라 하자
  • 정리
    - y=∑i=1k⟨y,vi⟩∥vi∥2viy=\sum_{i=1}^{k}\displaystyle\frac{\langle y,v_i \rangle}{\|v_i\|^2}v_i 가 성립한다
  • 증명
    - y=∑i=1kaiviy= \sum_{i=1}^{k}a_iv_i라고 하자
    - 1≤j≤k1\le j \le k에서 ⟨y,vj⟩=⟨∑i=1kaivi,vj⟩=aj∥vj∥2\langle y,v_j \rangle=\langle \sum_{i=1}^{k} a_iv_i,v_j \rangle=a_j\|v_j\|^2
    - aj=⟨y,vj⟩∥vj∥2a_j= \displaystyle\frac{\langle y,v_j \rangle}{\|v_j\|^2}

관련정리 2 : 직교집합은 일차독립이다

  • 조건
    - 내적공간 VV가 있고 VV의 직교 부분집합 S={v1,v2,...,vk}S=\{v_1,v_2,...,v_k\}가 있다고 하자
  • 정리
    - VV의 직교 부분집합 SS는 일차독립이다
  • 증명
    - 일차독립을 판별하기 위해 ∑i=1kaivi=0\sum_{i=1}^{k}a_i v_i=0 식을 세우자
    - ⟨∑i=1kaivi,vj⟩=0\langle \sum_{i=1}^{k}a_i v_i,v_j\rangle=0 , j=1,2,...,kj=1,2,...,k
    - 따라서 a1,a2,...,ak=0a_1,a_2,...,a_k=0 이므로 정의에 따라 일차독립이다

2.1 그람- 슈미트 직교화 Gram−Schmidt  processGram-Schmidt\,\,process

  • 조건
    - 내적공간 VV가 있고 일차독립인 부분집합 S={w1,w2,...,wn}S=\{w_1,w_2,...,w_n\}이 있다고 하자
    - S′={v1,v2,...,vn}S'=\{v_1,v_2,...,v_n\}는 SS를 다음과 같이 변형하여 만든 집합이다.
    - v1=w1v_1=w_1
    - vk=wk−∑j=1k−1⟨wk,vj⟩∥vj∥2v_k=w_k - \sum_{j=1}^{k-1}\displaystyle\frac{\langle w_k,v_j \rangle}{\|v_j\|^2} (2≤k≤n)(2 \le k \le n)
  • 정리
    - S′S'은 영이 아닌 벡터로 이루어진 직교집합이다
    - span(S′)=span(S)span(S')=span(S)이다
  • 증명
    - 벡터 갯수 nn에 대한 수학적 귀납법을 사용하자
    - n=1n=1 일떈 v1=w1v_1=w_1 으로 증명이 끝난다
    - n=k−1n=k-1에서 이 식이 성립한다고 가정하자
    - Sk−1′={v1,v2,...,vk−1}S'_{k-1}=\{v_1,v_2,...,v_{k-1}\}
    - n=kn=k에서 이 식이 성립함을 보이자
    - vk=0v_k=0 이면 wk∈span(Sk−1′)=span(Sk−1)w_k \in span(S'_{k-1})=span(S_{k-1})임을 의미한다. 이는 SkS_k가 일차독립이라는 가정과 모순이다
    - 1≤i≤k−11\le i \le k-1에 대해 다음과 같은 식을 얻는다
    - ⟨vk,vi⟩=⟨wk−∑j=1k−1⟨wk,vj⟩∥vj∥2vj,vi⟩=⟨wk,vi⟩−⟨wk,vi⟩∥vi∥2∥vi∥2=0\langle v_k,v_i \rangle=\langle w_k - \sum_{j=1}^{k-1}\displaystyle\frac{\langle w_k,v_j \rangle}{\|v_j\|^2}v_j,v_i\rangle=\langle w_k,v_i \rangle - \displaystyle\frac{\langle w_k,v_i \rangle}{\|v_i\|^2}\|v_i\|^2=0
    - 그러므로 Sk′S_k' 은 직교집합이다 또한 Sk′S_k'에 정의에 따라서
    - Sk′⊆span(Sk)S_k' \subseteq span(S_k) , span(Sk′)⊆span(Sk)span(S_k') \subseteq span(S_k)
    - 직교집합이면 일차독립이므로 dim(span(Sk′))=dim(span(Sk))dim(span(S_k'))=dim(span(S_k))
    - span(Sk′)=span(Sk)span(S_k')=span(S_k)

2-2. 직교여공간 orthogonal  complementorthogonal\,\,complement

  • 조건
    - 내적공간 VV가 있고, 공집합이 아닌 부분집합 SS가 있다하자
  • 정의
    - SS의 모든 벡터와 수직인 벡터의 집합을 S⊥S^\bot, 직교여공간이라고 한다
    - S⊥={x∈V:for  all  y∈S,  ⟨x,y⟩=0}S^\bot =\{x \in V : for \,\,all\,\,y \in S,\,\,\langle x,y \rangle=0\}

이에 따라오는 성질

  • 조건
    - 내적공간 VV와 VV의 유한차원 부분공간 WW가 있다고 하자
    - 벡터 y∈Vy \in V 있다고 하자
    - {v1,v2,...,vk}\{v_1,v_2,...,v_k\}가 WW의 정규직교 벡터라고 하자
  • 정리
    - y=w+w′y=w+w' 만족시키는 유일한 벡터 w∈W,w′∈W⊥w\in W, w' \in W^\bot이 존재한다
    - w=∑i=1k⟨y,vi⟩viw = \sum_{i=1}^{k}\langle y,v_i \rangle v_i 가 성립한다
  • 용어
    - ww를 yy의 WW에 대한 정사영orthogonal  projectionorthogonal\,\,projection 이라 한다
  • 증명
    - 일단 우선 앞에서 정의한대로 w,w′w,w' 를 활용한다
    - w′=y−ww'=y-w가 ww와 직교임을 보이자
    - ⟨w′,vj⟩=⟨(y−∑i=1k⟨y,vi⟩vi),vj⟩=⟨y,vj⟩−∑i=1k⟨y,vi⟩⟨vi,vj⟩=0\langle w',v_j \rangle= \langle (y-\sum_{i=1}^{k} \langle y,v_i \rangle v_i),v_j \rangle= \langle y,v_j \rangle - \sum_{i=1}^{k} \langle y,v_i \rangle \langle v_i,v_j \rangle=0 for  j=1,2,...,kfor \,\,j=1,2,...,k
    - w∈span({v1,v2,...,vk})w \in span(\{v_1,v_2,...,v_k\}) 이므로 w⊥w′w \bot w' w′∈W⊥w' \in W^\bot
    - 이제 ww와 w′w'이 유일함을 보이자
    - u∈W,u′∈W⊥u \in W, u' \in W^\bot이고 y=u+u′=w+w′y=u+u'=w+w'이라고 하자
    - (u−w)=(w′−u′)(u-w)=(w'-u') , W∩W⊥={0}W \cap W^\bot=\{0\} 이므로
    - u=w,w′=u′u=w , w'=u'

따름정리

  • 주장
    - ww는 WW에 있는 벡터중 yy에 가장 가까운 유일한 벡터이다
    - 임의의 x∈Wx \in W에 대해 ∥y−x∥≥∥y−w∥\|y-x\| \ge\|y-w\|이다 등호는 x=wx=w인 경우 성립한다
  • 증명
    - ∥y−x∥2=∥w+w′−x∥2=∥(w−x)+w′∥2=∥w−x∥2+∥w′∥2≥∥w′∥2=∥y−w∥2\|y-x\|^2=\|w+w'-x\|^2=\|(w-x)+w'\|^2=\|w-x\|^2+\|w'\|^2 \ge \|w'\|^2=\|y-w\|^2
profile
milkbuttercheese
안녕하세요!
이전 포스트

선형대수 5-2. 불변공간

다음 포스트

선형대수 6-2. 수반연산자

0개의 댓글