노름과 정규직교 - Norm and Orthonormal

노름 - Norm

벡터에 크기(길이)를 부여하는 함수

Definition

벡터 공간 $V$가 있을 때, 다음 성질을 따르는 $V$ 위의 함수 $\alpha : V \rarr \mathbb R$를 노름(norm)이라고 한다.
ⅰ) positivity
$\alpha(\mathbf x)\ge0 \ (||\mathbf x|| \ge 0),\ \mathbf {x=0} \rarr\alpha(\mathbf x)=0$
ⅱ) homogeneity
$\alpha(r\mathbf x)=|r|\alpha (\mathbf x)\ \mathsf{for\ all}\ r\in\mathbb R$
ⅲ) triangle inequality
$\alpha(\mathbf{x+y})\le\alpha (\mathbf x)+\alpha (\mathbf y)$

벡터 $\mathbf x \in V$의 노름은 대개 $||\mathbf x||$로 표기한다.
$V$의 다른 노름들은 아래첨자로 구분한다. (예: $||\mathbf x||_1,\ ||\mathbf x||_2$ 등)

$||\mathbf x||_p = (|x_1|^p+|x_2|^p+\cdots+|x_n|^p)^{1/p},\ p>0$ (p-norm)

민코프스키 부등식 - Minkowski inequality

$(\sum_{k=1}^n|x_k+y_k|^p)^{1/p}\le(\sum_{k=1}^n|x_k|^p)^{1/p}+(\sum_{k=1}^n|y_k|^p)^{1/p}$

에 의해서 $p\ge1$일 때 노름의 삼각 부등식 조건이 항상 만족하게 된다.

모든 $p\ge1$인 $p$에 대해서 $||\mathbf x||_p$는 $\mathbb R^n$에서의 노름이다.

노름 벡터 공간 - Normed Vector Space

노름벡터공간(Normed vector space)은 노름이 부여된 벡터 공간이다.
노름벡터공간에서 노름은 거리 함수를 정의한다.

$\mathsf{dist}(\mathbf{x, y})=||\mathbf{x-y}||$

예시
노름벡터공간 $V = C[a, b]$에서 노름 $f:[a,b]\rarr\mathbb R$는 다음과 같이 정의되어있다.

• $||f||_{\infin}=\max_{a\le \mathbf x\le b}|f(\mathbf x)|$
• $||f||_1=\int_a^b|f(\mathbf x)|d\mathbf x$
• $||f||_p=(\int_a^b|f(\mathbf x)|d\mathbf x)^{1/p},\ p>0$

내적에 의해 유도되는 노름 - Norms induced by inner products

$<\mathbf{x, y}>$가 벡터 공간 $V$의 내적이라면, 노름은 다음과 같이 유도된다.

$||\mathbf x||=\sqrt{<\mathbf{x,y}>}$

벡터 사이의 각도 w. 노름

$|<\mathbf{x,y}>|\le||\mathbf x||\ ||\mathbf y||$이므로 우리는 내적과 노름이 정의된 벡터 공간의 0이 아닌 두 벡터 사이의 각도를 다음과 같이 정의할 수 있다.

$\angle (\mathbf{x,y})=\arccos\cfrac{<\mathbf{x,y}>}{||\mathbf x||\ ||\mathbf y||}$

벡터 정규화 - Vector Normalization

벡터의 크기를 1로 규격화 시키는 것.
벡터를 단위 벡터(크기가 1인 벡터)로 변환한다.

• $\mathbf u_{\mathbf x}=\cfrac{\mathbf{x}}{||\mathbf{x}||}$

• $||\mathbf u_{\mathbf x}|| = 1$

직교 집합 - Orthogonal Sets

내적 $<\cdot,\cdot>$과 유도된 노름 $||\cdot||$이 주어진 내적 공간 $V$가 있다.

이 때, 모든 벡터가 0이 아니고 서로 직교(orthogonal)하며 선형 독립인 $S \sub V$를 직교 집합(orthogonal set)이라고 한다.

$\mathbf 0 \notin S\ \mathsf{and}\ <\mathbf{x,y}>=0\ \mathsf{for\ any}\ \mathbf{x,y}\in S,\ \mathbf{x\ne y}$

만약 직교 집합 $S\sub V$에서 모든 벡터 $\mathbf x\in S$가 $||\mathbf x||=1$이면 정규 직교(orthonormal)라고 한다.

$<\mathbf{v_i,v_j}>=\delta_{ij}=\begin{cases}1\quad \mathsf{if}\quad i=j\\0\quad \mathsf{if} \quad i\ne j\end{cases}$

• 정규성(normality) :
  크기가 1 $(||\mathbf v||=1)$

• 직교성(orthogonality) :
  각 요소들이 독립적/직교적 $(<\mathbf{v_i,v_j}>=0)$

예제 풀이

예제.

$V = \mathbb R^3,\ <\mathbf{x,y}>=\mathbf{x\cdot y}$
$\mathbf{v_1}=(3,5,4),\ \mathbf{v_2}=(3,-5,4),\ \mathbf{v_3}=(4,0,-3)$ 일 때,
$\mathsf{set}\{\mathbf{v_1,v_2,v_3}\}$이 정규직교집합인지 판별하여라.

풀이.

ⅰ) 직교성 판별
$\mathbf{v_1\cdot v_2}=0,\ \mathbf{v_2\cdot v_3}=0,\ \mathbf{v_1\cdot v_3}=0$

$\therefore \mathsf{set}\{\mathbf{v_1,v_2,v_3}\}$는 직교집합이다.

ⅱ) 정규성 판별
$\mathbf{v_1\cdot v_1}=50,\ \mathbf{v_2\cdot v_2}=50,\ \mathbf{v_3\cdot v_3 }=25$

$\therefore\mathsf{set}\{\mathbf{v_1,v_2,v_3}\}$는 정규직교집합이 아니다.

정규 직교 기저 - Orthonormal basis

집합 $B=\{\mathbf{u_1,u_2,...,u_k}\}$가 내적 공간 $V$의 정규직교집합이라면, $B$는 부분공간 $S=\mathsf{Span}(\mathbf{u_1,u_2,...,u_k})$의 기저이다.
이 때, $B$를 정규 직교 기저(orthonormal basis)라고 한다.

$\{\mathbf{u_1,u_2,...,u_n}\}$이 내적 공간 $V$의 정규직교기저일 때 다음을 만족한다.

$\mathbf v=\sum_{i=1}^nc_i\mathbf u_i\ \rarr\ c_i=<\mathbf{v, u_i}>$

• 따름정리
  $\mathbf u=\sum_{i=1}^na_i\mathbf u_i\ \mathsf{and}\ \mathbf v=\sum_{i=1}^nb_i\mathbf v_i\ \rarr\ <\mathbf{u,v}>=\sum_{i=1}^na_ib_i$

파세발 등식 - Parseval's identity

파세발 등식에 따라 다음이 성립한다.

$\{\mathbf{u_1,u_2,...,u_n}\}$이 내적 공간 $V$의 정규직교기저일 때,

$\mathbf v=\sum_{i=1}^nc_i\mathbf u_i$이면, $||\mathbf v||^2=\sum_{i=1}^nc_i^2$ 이다.

$\mathbf{v_1,v_2,...v_n}$는 내적 공간 $V$의 정규직교기저다.
$x_i,\ y_i\in \mathbb R$에서
$\mathbf x=x_1\mathbf v_1+x_2\mathbf v_2+\cdots +x_n\mathbf v_n$ ,
$\mathbf y=y_1\mathbf v_1+y_2\mathbf v_2+\cdots +y_n\mathbf v_n$일 때 따름정리와 파세발 등식에 따라 다음이 성립한다.

ⅰ) $<\mathbf{x,y}>=x_1y_1+x_2y_2+\cdots+x_ny_n$
ⅱ) $||\mathbf x||=\sqrt{x_1^2+x_2^2+\cdots+x_n^2}$

푸리에 계수 - Fourier coefficient

$\{\mathbf{u_1,u_2,...,u_n}\}$이 내적 공간 $V$의 정규직교기저일 때 모든 벡터 $\mathbf v \in V$에 대해서 다음이 성립한다.

$\mathbf v= \cfrac{<\mathbf{v,u_1}>}{<\mathbf{u_1,u_1}>}\mathbf{u_1}+\cfrac{<\mathbf{v,u_2}>}{<\mathbf{u_2,u_2}>}\mathbf{u_2}+\cdots +\cfrac{<\mathbf{v,u_n}>}{<\mathbf{u_n,u_n}>}\mathbf{u_n}$

여기서 스칼라 $k_i\equiv\cfrac{\mathbf{<v,u_i>}}{\mathbf{<u_i,u_i>}}$ 를 $\mathbf u_i$에 대한 $\mathbf v$의 푸리에 계수(fourier coefficient)라고 한다.

유한 차원에 대한 정사영 - Orthogonal projection

$V$가 내적 공간이고, $V_0$는 $V$의 유한 차원 부분공간이라고 하자.
그렇다면 모든 벡터 $\mathbf x \in V$는 $\mathbf p \in V_0$와 $\mathbf o \perp V_0$로 다음과 같이 표현된다.

$\mathbf{x=p+o}$

$\mathbf p$는 $V_0$에 대한 $\mathbf v$의 정사영(orthogonal projection)이다.

$||\mathbf o||=||\mathbf{x-p}||=\lim_{\mathbf v\in V_0}||\mathbf{x-v}||$ 이므로
$\mathbf x$에서 $V_0$까지의 거리는 $||\mathbf o||$이다.

$V_0$에 대한 $\mathbf x \in V$의 정사영이 $\mathbf p$라고 할 때,
$V_0$가 $\mathbf v$에 의해 생성되는 1차원 공간이라면 $\mathbf p$는 다음과 같다.

$\mathbf p = \cfrac{<\mathbf{x,v}>}{<\mathbf{v,v}>}\cdot\mathbf v$

$\mathbf{v_1,v_2,...,v_n}$이 $V_0$의 직교 기저라면 $\mathbf p$는 다음과 같다.

$\mathbf p= \cfrac{<\mathbf{x,v_1}>}{<\mathbf{v_1,v_1}>}\mathbf{v_1}+\cfrac{<\mathbf{x,v_2}>}{<\mathbf{v_2,v_2}>}\mathbf{v_2}+\cdots +\cfrac{<\mathbf{x,v_n}>}{<\mathbf{v_n,v_n}>}\mathbf{v_n}$

내적의 선형성과 스칼라 분리 법칙, 직교 기저의 성질에 의해 다음과 같은 전개가 가능하다.
$<\mathbf{p,v_i}>=<\sum_{j=1}^n\cfrac{<\mathbf{x,v_j}>}{<\mathbf{v_j,v_j}>}\cdot\mathbf{v_j},\mathbf {v_i}>=\sum_{j=1}^n\cfrac{<\mathbf{x,v_j}>}{<\mathbf{v_j,v_j}>}<\mathbf{v_j, v_i>}=\cfrac{<\mathbf{x,v_i}>}{<\mathbf{v_i,v_i}>}<\mathbf{v_i, v_i>}=<\mathbf{x, v_i}>$

$\Rarr\ <\mathbf{x-p,v_i}>=\mathbf{<x,v_i>-<p,v_i>}=0$

$\Rarr \mathbf{x-p \perp v_i} \Rarr \mathbf{x-p}\perp V_0$

그러므로 $\mathbf{x-p}$는 $V_0$의 모든 벡터에 직교한다.

---

<참고자료>
Steve J. Leon, Linear Algebra with Application, 10th edition, 2021.