유클리드 구조 - Euclidean Structure

벡터의 기하학적 접근

벡터는 방향성 선분(화살표)으로 표현된다.

다른 화살표가 같은 길이와 방향을 가진다면 이는 같은 벡터이다.
$\overrightarrow{AB}$는 머리가 $B$에 있고 꼬리가 $A$에 있는 화살표를 나타낸다.
$\overrightarrow{AA}$는 영 벡터이고 $\mathbf 0$을 나타낸다.
$\mathbf v = \overrightarrow{AB}$일 때 $\overrightarrow{BA}$는 $-\mathbf v$를 나타낸다.

벡터 합 - vector addition

벡터 차 - vector difference

스칼라 곱 - scalar multiplication

벡터의 길이 - length ; magnitude
벡터의 길이는 화살표의 길이다.
벡터 $\mathbf v$의 길이는 $|\mathbf v|$ 또는 $||\mathbf v||$로 표기한다.

벡터 길이의 성질

• Positivity : $||\mathbf x||\geq0,\ ||\mathbf x||=0 \Leftrightarrow \mathbf x=\mathbf 0$
• Homogeneity : $||r\mathbf x||=|r||\mathbf x|$
• Triangle inequality : $||\mathbf x+\mathbf y||\le||\mathbf x||+||\mathbf y||$
  

벡터 사이의 각도 - angle between vector

$\mathbf x =\overrightarrow{AB},\ \mathbf y=\overrightarrow{AC}$일 때, $\angle BAC$를 벡터 사이의 각도라고 한다.
벡터 사이의 각도가 90$\degree$일 경우 두 벡터가 직교(orthogonal; $\mathbf x\perp\mathbf y$)하다고 한다.

피타고라스의 정리 - Pythagorean Theorem

$\mathbf x \perp \mathbf y \Rarr ||\mathbf x+\mathbf y||^2=||\mathbf x||^2+||\mathbf y||^2$

• 3차원에서 피타고라스의 정리
  만약 벡터 $\mathbf x,\ \mathbf y,\ \mathbf z$가 각각 직교하다면, $||\mathbf{x+y+z}||^2=||\mathbf x||^2 + ||\mathbf y||^2+||\mathbf z||^2$가 성립한다.

코사인 법칙 - Law of cosines

$||\mathbf{x-y}||^2=||\mathbf x||^2+||\mathbf y||^2-2|\mathbf x||\mathbf y|\cos{\theta}$
$(\mathbf{x-y})\cdot(\mathbf{x-y})=\mathbf{x\cdot x-}2\mathbf{x\cdot y+\mathbf{y\cdot y}}$

내적 - dot product ; inner product ; scalar product

$\mathbf{x\cdot y}=|\mathbf x||\mathbf y|\cos{\theta}$

• 표현 : $\mathbf{x \cdot y}$, $<\mathbf{x, y}>$, $(\mathbf{x, y})$

두 벡터가 직교하면 그 내적은 $0$이다.

---

본론 시작..

유클리드 구조 - Euclidean Structure

유클리드 구조(Euclidean structure)는 다음과 같은 기하적 개념들을 포함한다.

• 벡터의 길이 : $||\mathbf x||$
• 벡터 사이의 각도 : $\theta$
• 내적 : $\mathbf{x\cdot y}=|\mathbf x||\mathbf y|\cos{\theta}$

즉, 유클리드 구조는 벡터 공간에 내적(inner product)이 정의되어 있어 길이(length), 각도(angle), 직교(orthogonality) 등을 이야기할 수 있게 만든 구조이다.

벡터의 대수적 접근
$n$차원의 좌표 벡터는 $\mathbb R^n$ 공간의 원소들이다.
$(x_1,\ x_2,\ ...\ ,\ x_n)$

데카르트 좌표계 - Cartesian coordinate system
데카르트 좌표계에서 우리는 선(line), 평면(plane), 공간(space)을 식별할 수 있다.
원점 $O$를 지정하면, 각 점 $A$는 위치 벡터 $\overrightarrow{OA}$와 연관된다.
모든 벡터는 $O$를 꼬리로 한 고유 표현을 가지게 된다.

길이와 거리 - length and distance
벡터 $\mathbf v = (v_1, v_2, ..., v_n)\in \mathbb R^n$의 길이는 다음과 같다.

$||\mathbf v|| = \sqrt{v_1^2+v_2^2+\cdots +v_n^2}$

벡터(또는 점) $\mathbf{x,\ y}$ 사이의 거리는 $||\mathbf{y-x}||$이다.

길이의 성질

• Positivity : $||\mathbf x||\geq0,\ ||\mathbf x||=0 \Leftrightarrow \mathbf x=\mathbf 0$
• Homogeneity : $||r\mathbf x||=|r||\mathbf x|$
• Triangle inequality : $||\mathbf x+\mathbf y||\le||\mathbf x||+||\mathbf y||$

내적 - dot product ; inner product ; scalar product
벡터 $\mathbf x=(x_1,x_2,...,x_n)$과 $\mathbf y=(y_1,y_2,...,y_n)$의 내적은 다음과 같다.

$\mathbf{x\cdot y}=x_1y_1+x_2y_2+\cdots +x_ny_n=\sum_{k=1}^{n}x_ky_k$

내적의 성질

• Positivity : $\mathbf{x\cdot x}\ge0,\ \mathbf{x\cdot x}\rarr\mathbf x=\mathbf 0$
• Symmetry : $\mathbf{x\cdot y=y\cdot x}$
• Distribute law : $(\mathbf{x+y})\cdot \mathbf z=\mathbf{x\cdot z+y\cdot z}$
• Homogeneity : $(r\mathbf x)\cdot \mathbf y=r(\mathbf{x\cdot y})$

길이와 내적의 관계
벡터 $\mathbf x \in \mathbb R^n$의 길이는 다음과 같이 내적을 이용해 정의할 수 있다.
$||\mathbf x||=\sqrt{\mathbf{x\cdot x}}$

두 벡터 $\mathbf{x,\ y}\in\mathbb R^n$에 대해, 코시-슈바르츠 부등식(Cauchy-Schwarz inequality)은 다음을 만족한다.

$|\mathbf{x\cdot y}| \le ||\mathbf x||\ ||\mathbf y||$

한편, 내적의 분배 법칙에 따라 다음 항등식이 성립하고,
$||\mathbf{x-y}||^2=||\mathbf x||^2+||\mathbf y||^2-2\cdot \mathbf{x\cdot y}$

코사인 법칙에 따라 두 벡터 사이의 각도 $\theta$에 대해 다음이 성립한다.
$||\mathbf{x-y}||^2=||\mathbf x||^2+||\mathbf y||^2-2||\mathbf x||\ ||\mathbf y||\cos{\theta}$

위 두 식을 비교함으로써, $\mathbf{x\cdot y}$는 다음과 같이 표현될 수 있다.

$\mathbf{x\cdot y}=||\mathbf x||\ ||\mathbf y||\cos{\theta}$

코사인 함수는 $-1\le\cos{\theta}\le 1$ 조건을 만족할 때 성립한다.

코시-슈바르츠 부등식에 의해

$\left\vert \cfrac{\mathbf{x\cdot y}}{||\mathbf x||\ ||\mathbf y||}\right\vert\le1$

을 보장하기 때문에 영 벡터가 아닌 벡터 $\mathbf{x,\ y}$에 대해 다음이 성립한다.

$\cos{\theta} = \cfrac{\mathbf{x\cdot y}}{||\mathbf x||\ ||\mathbf y||}$ for some $0\le\theta\le\pi$

이 관계는 유클리드 공간에서 벡터 내적과 각도의 기하학적 의미를 연결해주며, 내적을 통해 벡터 간의 직교성(orthogonality) 조건을 수립할 수 있다.

직교성 - Orthogonality

벡터 $\mathbf x,\ \mathbf y \in \mathbb R^n$가 다음 조건을 만족할 때 두 벡터가 서로 직교한다(orthogonal ; $\mathbf x \perp \mathbf y$)고 정의한다.

$\mathbf{x\cdot y}= 0\rarr\mathbf x \perp \mathbf y$

직교는 벡터와 공간, 공간과 공간 사이에도 정의될 수 있다.

벡터 $\mathbf x \in \mathbb R^n$은 비-공집합 $Y \sub \mathbb R^n$에 대하여
$\mathbf{x\cdot y}=0\;\;\;(\mathbf y\in Y)$일 때 직교한다$(\mathbf x \perp Y)$.

비-공집합 $X,\ Y \sub \mathbb R^n$은
$\mathbf{x\cdot y}=0\;\;\;(\mathbf x \in X,\;\mathbf y\in Y)$일 때 직교한다$(X \perp Y)$.

직교성의 성질

두 집합 $X, Y \sub \mathbb R^n$이 직교 집합$(X \perp Y)$이라면
둘의 교집합 $X \cap Y = \{\mathbf 0\}$이다.

직교 여공간 - Orthogonal complement

집합 $S \sub \mathbb R^n$에 대해서, $S$의 직교 여공간(orthogonal complement) $S^{\perp}$은 $S$에 대해 직교하는 모든 벡터의 집합이다.
즉, $S^{\perp}$는 $\mathbb R^n$에서 $S$와 직교하는 가장 큰 부분집합이다.

만약 $V$가 행렬의 행 공간(row space)이라면, $V^{\perp}$는 그 행렬의 영공간(null space)이다.

주요 부분 공간 - Fundamental subspaces

선형 대수학에서 행렬과 관련된 네 가지 중요한 부분 공간을 말한다.
m×n 행렬 $A$에 대해서,

• $N(A) = \{\mathbf x \in \mathbb R^n\ |\ A\mathbf x=\mathbf 0\}$
  행렬 $A$의 영 공간(null space)
• $R(A) = \{\mathbf b\in \mathbb R^m\ |\ \mathbf b=A\mathbf x\;\;\;\;\mathsf{for\ some}\;\;\mathbf x \in \mathbb R^n\}$
  선형 사상 $L : \mathbb R^n\rarr\mathbb R^m$, $L(\mathbf x)=A\mathbf x$의 상(range ; image).
  행렬 $A$의 열 공간(column space)
• $N(A^{T})$
  행렬 $A$의 좌 영 공간(left null space)
• $R(A^{T})$
  행렬 $A$의 행 공간(row space)

$N(A),\ R(A^T)$는 $\mathbb R^n$의 부분공간이고, $N(A^T),\ R(A)$는 $\mathbb R^m$의 부분공간이다.

• 정리 : $N(A),\ R(A^T) \sub \mathbb R^n$, $N(A^T),\ R(A) \sub \mathbb R^m$

직교 여공간의 정리

$N(A) = R(A^T)^{\perp}$
$N(A^T) = R(A)^{\perp}$

즉, 행렬의 영 공간은 행 공간의 직교 여공간이다.

• 따름 정리
  $V \sub \mathbb R^n\rarr\dim V+\dim V^{\perp}=n$

직접 구해보기

예제

행렬 $A = \begin{pmatrix}1\;\;1\;\;2\\0\;\;1\;\;1\\1\;\;3\;\;4\end{pmatrix}$

에 대해서 $N(A),\ R(A^T),\ N(A^T),\ R(A)$의 기저를 구하여라.

풀이

$N(A)$는 $A$의 영 공간이고 $R(A^T)$는 행 공간이므로, 이들의 기저를 구하기 위해서는 $A$를 RREF로 변환해주어야 한다.

$\begin{pmatrix}1\;\;1\;\;2\\0\;\;1\;\;1\\1\;\;3\;\;4\end{pmatrix}\rarr\begin{pmatrix}1\;\;0\;\;1\\0\;\;1\;\;1\\0\;\;0\;\;0\end{pmatrix}$

행렬 $A$의 행 공간은 RREF의 non-zero row로 기저가 형성되므로
$R(A^T)$의 기저는 $\{(1,0,1)^T,\ (0,1,1)^T\}$이다.

$\mathbf x \in N(A)$라면, RREF에 따라 $x_1+x_3 = 0,\ x_2+x_3=0$이므로,
$x_1=x_2=-x_3$이다.
$x_3 = \alpha$로 설정하면 $N(A)$는 모든 $\alpha(-1,-1,1)^T$ 형태의 벡터들로 구성된다.
따라서 $N(A)$의 기저는 $\{(-1,-1,1)^T\}$이다.

$R(A)$와 $N(A^T)$의 기저를 구하기 위해서는 $A$를 전치한 후 RREF로 변환해주어야 한다.

$\begin{pmatrix}1\;\;0\;\;1\\1\;\;1\;\;3\\2\;\;1\;\;4\end{pmatrix}\rarr\begin{pmatrix}1\;\;0\;\;1\\0\;\;1\;\;2\\0\;\;0\;\;0\end{pmatrix}$

행렬 $A^T$의 행 공간은 $A$의 열 공간이다.
따라서 $R(A)$의 기저는 $\{(1,0,1)^T,\ (0,1,2)^T\}$이다.

$\mathbf x \in N(A^{T})$라면, $x_1+x_3=0,\ x_2+2x_3=0$이므로,
$x_1=-x_3,\ x_2=-2x_3$이다.
$x_3=\alpha$로 설정하면 $N(A^T)$는 모든 $\alpha(-1,-2,1)^T$ 형태의 벡터들로 구성된다.
따라서 $N(A^T)$의 기저는 $\{(-1,-2,1)^T\}$이다.

즉,
$\mathsf{basis\ of\ }N(A) = \{(-1,-1,1)^T\}$
$\mathsf{basis\ of\ }R(A^T)=\{(1,0,1)^T,\ (0,1,1)^T\}$
$\mathsf{basis\ of\ }N(A^T)=\{(-1,-2,1)^T\}$
$\mathsf{basis\ of\ }R(A)=\{(1,0,1)^T,\ (0,1,2)^T\}$

이 예제를 통해 $N(A)$와 $R(A^T)$, $N(A^T)$와 $R(A)$는 서로 직교 여공간임을 확인할 수 있다.

---

<참고자료>
Steve J. Leon, Linear Algebra with Application, 10th edition, 2021.