선형 변환 - Linear Transformation

선형 변환 - Linear Transformation

= Linear mapping = Linear function

Definition

벡터 공간 $V_1$과 $V_2$가 있을 때, 사상(mapping) $L : V_1 \rarr V_2$가 다음 조건을 만족하면
$L$은 선형 변환(linear transformation) 또는 선형 사상(linear mapping)이다.

1. 덧셈에 대한 보존 (Additivity)
   $L(\mathbf x + \mathbf y) = L(\mathbf x) + L(\mathbf y)$

2. 스칼라 곱에 대한 보존 (Homogeneity)
   $L(r\mathbf x) = rL(\mathbf x)$

for any $\mathbf x,\ \mathbf y \in V_1$ and $r \in \mathbb R$.

$\ell : V \rarr \mathbb R$은 선형 함수(linear function)라고 부른다.

$V_1 = V_2$일 때, $L : V_1 \rarr V_2$는 선형 연산자(linear operator)라고 부른다.

위 정의에 따라 $f(x) = ax + b$인 함수가 $b = 0$일 때, $f : \mathbb R \rarr \mathbb R$는 벡터 공간 $\mathbb R$의 선형 변환이다.
또한 $f : \mathbb R \rarr \mathbb R$가 벡터 공간 $\mathbb R$의 선형 변환이면, $b = 0$이다.

선형 변환의 예시

• Scaling
  $L : V \rarr V,\ L(\mathbf v) = s\mathbf v$ where $s \in \mathbb R$
• Dot product with a fixed vector
  $\ell : \mathbb R^n \rarr \mathbb R,\ \ell(\mathbf v) = \mathbf v \cdot \mathbf v_0$, where $\mathbf v_0 \in \mathbb R^n$
• Cross product with a fixed vector
  $L : \mathbb R^3 \rarr \mathbb R^3,\ L(\mathbf v) = \mathbf v \times \mathbf v_0,$ where $\mathbf v_0 \in \mathbb R^3$
• Multiplication by a fixed vector
  $L : \mathbb R^n \rarr \mathbb R^m, L(\mathbf v) = A\mathbf v$,
  where $A$ is an m×n matrix and all vectors are column vectors

함수 벡터 공간에서의 선형 변환

• Evaluation at a fixed point
• Multiplication by a fixed function
• Differentiation (미분)
• Integration over a finite interval (유한한 구간에서 적분)

선형 변환의 특성

• 선형 변환 $L : V \rarr W$가 가역이면,
  $L^{-1} : W \rarr V$ 또한 선형 변환이다.
• $L : V \rarr W$와 $M : W \rarr X$가 선형 변환이면,
  $M \circ L : V \rarr X$ 또한 선형 변환이다.
• $L_1 : V \rarr W$와 $L_2 : V \rarr W$가 선형 변환이면,
  $L_1 + L_2$ 또한 선형 변환이다.

핵(Kernel)과 상(Range; Image)

핵 - Kernel
선형 변환 $L$의 핵(kernel)은 $L(\mathbf v) = \mathbf 0$인 모든 벡터 $\mathbf v \in V$들의 집합이다. $ker L$로 표기한다.

상 - Range; Image
선형 변환 $L$의 상(range; image)은 일부 벡터 $\mathbf v \in V$에 대해 $\mathbf w = L(\mathbf v)$인 모든 벡터 $\mathbf w \in W$의 집합이다. $L(V)$로 표기한다.

선형 변환 $L : V \rarr W$일 때 $L(V)$는 $W$의 부분공간이고 $ker L$은 $V$의 부분공간이다.

일반적인 선형 방정식 - Linear Equation

선형 방정식(일차 방정식)은 일반적으로 다음과 같은 형태를 가진다.

$L(\mathbf x) = \mathbf b$

• $L : V \rarr W$
  선형 사상(mapping)
• $\mathbf b$
  $W$의 주어진 벡터
• $\mathbf x$
  $V$의 알 수 없는 벡터

$L(V)$는 방정식의 해가 될 수 있는 모든 벡터 $\mathbf b$의 집합이고,
$ker L$은 동차 방정식(homogeneous linear equation) $L(\mathbf x) = \mathbf 0$의 해 집합이다.

만약 선형 방정식 $L(\mathbf x) = \mathbf b$가 풀이 가능하고 $dim\ ker\ L<\infin$이라면, 일반 해는 다음과 같다.

$\mathbf x_0+t_1\mathbf v_1+...+t_k\mathbf v_k$

• $\mathbf x_0$ : 특정 해
• $\mathbf v_1, \mathbf v_2, ..., \mathbf v_k$ : $ker\ L$의 기저
• $t_1, t_2, ..., t_k$ : 임의의 스칼라

행렬 변환 - Matrix transformation

임의의 m×n 행렬 A는 $L(\mathbf x) = A\mathbf x$로 주어지는 변환 $L : \mathbb R^n \rarr \mathbb R^m$을 발생시킨다.
여기서 $\mathbf x \in \mathbb R^n$과 $L(\mathbf x) \in \mathbb R^m$은 열 벡터로 여겨진다.
이 변환은 선형 변환이다.

e.g.)
$L\begin{pmatrix}\mathbf x\\\mathbf y\\\mathbf z\end{pmatrix} = \begin{pmatrix}1\;\;0\;\;2\\3\;\; 4\;\;7\\0\;\;5\;\;8\end{pmatrix}\begin{pmatrix}\mathbf x\\\mathbf y\\\mathbf z\end{pmatrix}$
$\mathbf e_1=(1, 0, 0),\ \mathbf e_2=(0,1,0),\ \mathbf e_3=(0,0,1)$이 $\mathbb R^3$의 기저라고 하자.
위 변환에 따르면 $L(\mathbf e_1)=(1, 3, 0),\ L(\mathbf e_2)=(0,4,5),\ L(\mathbf e_3)=(2,7,8)$이므로 $L(\mathbf e_1),\ L(\mathbf e_2),\ L(\mathbf e_3)$는 행렬의 열이다.

Theorem

$L : \mathbb R^n \rarr \mathbb R^m$이 선형 사상이라고 가정하자.
그러면 모든 $\mathbf x \in \mathbb R^n$에 대해 $L(\mathbf x) = A\mathbf x$인 m×n 행렬 $A$가 존재한다.
$A$의 열들은 벡터 $L(\mathbf e_1),\ L(\mathbf e_2),\ ...\ ,\ L(\mathbf e_n)$이다.
여기서 $\mathbf e_1,\ \mathbf e_2,\ ...\ ,\mathbf e_n$은 $\mathbb R^n$의 표준 기저이다.

선형 변환과 행렬

$V, W$는 벡터 공간이고 $f : V \rarr W$는 선형 사상이라고 하자.
$\mathbf v_1, \mathbf v_2, ... , \mathbf v_n$은 $V$의 기저이고 $\mathsf g_1 : V \rarr \mathbb R^n$은 기저에 대한 좌표 사상이다.
$\mathbf w_1, \mathbf w_2, ... , \mathbf w_m$은 $W$의 기저이고 $\mathsf g_2 : W \rarr \mathbb R^m$은 기저에 대한 좌표 사상이다.

이 때 합성 $\mathsf g_2 \circ f \circ \mathsf g_1$은 $\mathbb R^n$에서 $\mathbb R^m$으로의 사상이다.
이를 $\mathbf x \mapsto A\mathbf x$로 표현할 수 있다. 여기서 $A$는 m×n 행렬이다.
$A$는 기저 $\mathbf v_1, \mathbf v_2, ... , \mathbf v_n$와 $\mathbf w_1, \mathbf w_2, ... , \mathbf w_m$에 대한 $f$의 행렬이라고 한다. $A$의 열은 기저 $\mathbf w_1, \mathbf w_2, ... , \mathbf w_m$에 대한 벡터 $f(\mathbf v_1), f(\mathbf v_2), ..., f(\mathbf v_n)$의 좌표이다.

이해하기 쉬운 정리

핵심 논점 : 선형 사상 $f$를 행렬 $A$로 표현하고싶다!

$\mathsf g_1$ 함수는 $V$ 벡터를 기저에 대한 좌표 벡터로 바꿔줌.
$\mathsf g_2$ 함수는 $W$ 벡터를 기저에 대한 좌표 벡터로 바꿔줌.

목표 : $\mathbb R^n$의 벡터 $\mathbf x$를 $\mathbb R^m$의 벡터 $A\mathbf x$로 바꾸기.
문제점 : $f$를 좌표 벡터에 바로 쓸 수 없음.
<해결>
1. 좌표 벡터를 실제 벡터로 변환
$\mathbf x \in \mathbb R^n \rarr \mathsf g_1^{-1}(\mathbf x) \in V$
2. 벡터 $V$를 $W$로 선형 변환
$f(\mathsf g_1^{-1}(\mathbf x)) \in W$
3. 그 결과 벡터를 좌표 벡터로 변환
$\mathsf g_2(f(\mathsf g_1^{-1}(\mathbf x)))\in \mathbb R^m$

결론
$\mathsf g_2 \circ f \circ \mathsf g_1 : \mathbb R^n \rarr \mathbb R^m$

라고 해도 솔직히 내 머리로 이해하기 어렵다.
그래서 유튜버 3Blue1Brown의 설명을 참고하기로 했다.

좀 더 쉬운 설명

변환은 함수다. 벡터를 입력 받아서 어떠한 벡터를 출력한다. 벡터는 좌표와 기저 벡터로 기술된다.
벡터 $\mathbf v = -1\hat{i} + 2\hat{j}$에 선형 변환 $L$이 가해졌더니
$\mathbf w =-1(변환된\ \hat{i}) + 2(변환된\ \hat{j})$가 되었다.
여기서 우리가 변환된 기저의 도달점(좌표)을 알고 있다고 하자.

$변환된\ \hat{i} = [1, -2]^{T},\ 변환된\ \hat{j}=[3, 0]^{T}$

따라서 $\mathbf w = -1\begin{pmatrix} 1\\-2\end{pmatrix}+2\begin{pmatrix}3\\0\end{pmatrix} = \begin{pmatrix}5\\2\end{pmatrix}$임을 알 수 있다.

즉 우리는 기저의 움직이는 도달점을 알면 변환에 대한 결과 벡터를 알 수 있다.
방금 과정을 살펴보면
$\hat{i} \rarr [1, -2]^T,\ \hat{j} \rarr [3, 0]^T$

$\begin{pmatrix}\ \ \ 1\ \ 3\\-2\ \ 0\end{pmatrix}\begin{pmatrix}x\\y\end{pmatrix}= x\begin{pmatrix}1\\-2\end{pmatrix}+y\begin{pmatrix}3\\0\end{pmatrix}=\begin{pmatrix}1x+3y\\-2x+0y\end{pmatrix}$이고,

행렬 $\begin{pmatrix}\ \ \ 1\ \ 3\\-2\ \ 0\end{pmatrix}$는 기저에 대한 변환 결과를 열로 가지는 것을 알 수 있다. 이 내용을 어렵게 말하면 다음과 같이 된다.

$L : \mathbb R^n \rarr \mathbb R^m$이 선형 사상이라고 가정하자.
그러면 모든 $\mathbf x \in \mathbb R^n$에 대해 $L(\mathbf x) = A\mathbf x$인 m×n 행렬 $A$가 존재한다.
$A$의 열들은 벡터 $L(\mathbf e_1),\ L(\mathbf e_2),\ ...\ ,\ L(\mathbf e_n)$이다.
여기서 $\mathbf e_1,\ \mathbf e_2,\ ...\ ,\mathbf e_n$은 $\mathbb R^n$의 표준 기저이다.

즉, 이 행렬은 기저 벡터들이 어디로 가는지를 열벡터로 모아놓은 것이다.

오늘은 여기까지...

---

<참고자료>
Steve J. Leon, Linear Algebra with Application, 10th edition, 2021.
3Blue1Brown 한국어, "제3장: 선형변환과 행렬 | 선형대수학의 본질", https://www.youtube.com/watch?v=35ESC-g49fY&list=PLkoaXOTFHiqhVDo0nWybNmihCP_4BjOFR&index=4, 2023.10.07