17. 정사영과 스펙트럼 정리

김재희·2021년 9월 10일
0

Linear Algebra

목록 보기
17/18

0. 직합

직합이란 공간을 간단한 부분공간으로 분해하는 방법 혹은 부분공간을 하나의 공간으로 합치는 방법이다.

정의 벡터공간 VV의 부분공간 W1,W2,,WkW_1, W_2, \dots, W_k에 대하여 다음 집합을 부분공간의 합이라 한다.

{v1+v2++vk:1ik,viW}\{v_1 + v_2 + \dots + v_k : 1 \leq i \leq k, v_i \in W\}

이때 벡터공간 VVW1+W2++WkW_1 + W_2 + \dots + W_k로 표현할 수 있다.

이때 이러한 부분공간의 표현은 유일하지 않다. 즉, 다양한 부분공간의 조합으로 합을 표현할 수 있다. 하지만 다음 정의를 이용하면 유일한 부분공간의 합이 가능하다.

정의 벡터공간 VV의 부분공간 W1,W2,,WkW_1, W_2, \dots, W_k을 생각하자. 모든 i=1,2,,ki = 1, 2, \dots, k에 대하여 WiWW_i \subseteq W이고 다음을 만족하는 WW를 부분공간 W1,W2,,WkW_1, W_2, \dots, W_k의 직합(direct sum)이라 하며 W=W1W2WkW = W_1 \oplus W_2 \oplus \dots \oplus W_k로 표기한다.
W=i=1kWiW = \sum^k_{i = 1}W_i이고, 각 j(ijk)j(i \leq j \leq k)에 대하여 WjjiWi={0}W_j \cap \sum_{j \neq i}W_i = \{0\}

즉 각 부분집합이 독립적이면서 부분집합의 합이 본 공간이 될 경우 이를 직합이라 한다.

1. 정사영

우선 사영에 대해 이야기를 해보자.

정의 벡터공간 VV에서 V=W1W2V = W_1 \oplus W_2일 때, 혹은 모든 xVx \in V에 대하여 x=x1+x2(x1W1,x2W2)x =x_1 +x_2 (x_1 \in W_1, x_2 \in W_2)일 때 T(x)=x1T(x) = x_1인 선형연산자 TTW2W_2에 대항 W1W_1위로의 사영이라 한다.

또한 이전에 행렬의 공간에 대해 이야기 하면서 R(T)=W1={xV:T(x)=x},N(T)=W2R(T) = W_1 = \{x \in V:T(x) = x\}, N(T) = W_2이므로, V=R(T)N(T)V = R(T) \oplus N(T)라 이야기하여도 문제가 없음을 알 수 있다. 이때 TT가 사영이기 위한 필요충분조건은 T=T2T = T^2이어야 한다.

주의해야할 점은 V=W1W2=W1W3V = W_1\oplus W_2 = W_1 \oplus W_3라 하여서 W2=W3W_2 = W_3를 보장하지 않는다는 것이다. 즉, W1W_1TT를 유일하게 결정하지 않는다. 하지만 이제 다룰 정사영은 치역에 의해 유일하게 결정되는 연산자이다.

정의 내적공간 VV와 사영 T:VVT : V \to V를 생각하자. R(T)=N(T),N(T)=R(T)R(T)^\bot = N(T), N(T)^\bot = R(T)를 만족하는 TT정사영(orthogonal projection)이라 한다.

만약 VV가 유한차원일 경우 위 정의에서 사용된 수식 중 하나만 성립해도 될 것이다. 왜냐하면 R(T)=N(T)R(T)^\bot = N(T)이면 자동으로 R(T)=R(T)=N(T)R(T) = R(T)^{\bot \bot} = N(T)^\bot으로 성립하게 되기 때문이다. 이 반대역시 당연히 성립하게 된다.

정사영과 직교연산자가 비슷해보일 수도 있는데, 엄연히 다른 개념이다.

위 그림에서 TTWW 위로의 정사영이지만 직교연산자는 될 수 없다. 직교연산자는 놈을 보존하는데 T(v)v||T(v)|| \neq ||v||이기 때문이다.

이제 정사영이 유일함을 보이자.
증명
내적공간 VV의 유한차원 부분공간 WW를 생각하자. 이때 T:VVT : V \to VT(y)=uT(y) = u로 표기하자. 이때 TTWW로의 정사영이라면, 유일한 정사영이다. 만약 TTUU가 모두 정사영이라면 R(T)=W=R(U)R(T) = W =R(U)이어야 한다. 이는 N(T)=R(T)=R(U)=N(U)N(T) = R(T)^\bot = R(U)^\bot = N(U)로 된다. 이때 사영은 치역과 영공간에 의해 유일함이 결정되므로 T=UT =U가 된다. 즉, TTWW로의 VV의 정사영일 때 이는 유일하다.

1.1 사영과 정사영

이제 사영과 정사영의 차이점에 집중해보자.

위에서 사용된 상황을 그대로 사용하자. V=R2,W=span{(1,1)}V = R^2, W = span\{(1, 1)\}일 때, UUTT가 위와 같다. 이때 T(v)T(v)vv에서 y=xy = x에 내린 수선의 발이고, U(a1,a2)=(a1,a1)U(a_1, a_2) = (a_1, a_1)이다. TT는 그림에서 볼 수 있듯이 WW로의 VV의 정사영이고, UUWW로의 사영이다. 이때 vT(v)Wv - T(v) \in W^\bot이지만, vU(v)∉Wv - U(v) \not \in W^\bot이다.

좀 더 자세히 이야기하면, T(v)T(v)vvWW와 가장 가까운 점을 이은 WW로의 최적근사이다. 즉, wW,wvT(v)vw \in W, ||w-v|| \geq ||T(v) - v||로 표현할 수 있다. 이는 선형회귀나 차원 축소 등에서 중요한 성질로 사용된다.

이제 정사영의 가장 중요한 특징을 보도록 하자.

정리 내적공간 VV와 선형연산자 TT를 생각하자. TT가 정사영이기 위한 필요충분조건은 TT의 수반연산자 TT^*가 존재하고 T2=T=TT^2 = T = T^*가 성립하는 것이다.

증명
TT가 정사영이라 가정하자. TT는 당연히 사영이므로 T2=TT^2 = T를 만족할 것이다. 이때, TT^*가 존재하면서 T=TT = T^*만 보이면 된다.

TT가 정사영이므로 V=R(T)N(T),R(T)=N(T)V = R(T) \oplus N(T), R(T)^\bot = N(T)가 된다. x,yVx, y \in V에 대하여 x=x1+x2,y=y1+y2x = x_1 + x_2, y = y_1 + y_2로 표현할 수도 있을 것이다(x1,y1R(T),x2,y2N(T)x_1, y_1 \in R(T), x_2, y_2 \in N(T)). 이제 식을 정리하여 다음이 가능하다.

<x,T(y)>=<x1+x2,y1>=<x1,y1>+<x2,y1>=<x1,y1><T(x),y>=<x1,y1+y2>=<x1,y1>+<x1,y2>=<x1,y1>\begin{aligned} <x, T(y)> &= <x_1+x_2, y_1>= <x_1,y_1> + <x_2, y_1> = <x_1,y_1>\\ <T(x), y> &= <x_1, y_1 + y_2> = <x_1, y_1> + <x_1, y_2> = <x_1,y_1> \end{aligned}

즉 모든 x,yVx, y \in V에 대하여 <x,T(y)>=<T(X),y><x, T(y)> = <T(X), y>이므로 TT^*가 존재하고 T=TT = T^*임을 알 수 있다.

이제 T2=T=TT^2 = T = T^*임을 보이자.
T2=T=TT^2 = T = T^*이라 가정하자. 이는 곧 TT가 사영임을 의미한다. 이제 R(T)=N(T),R(T)=N(T)R(T) = N(T)^\bot, R(T)^\bot = N(T)임을 보이자. 이를 통해 정사영임을 밝힐 수 있을 것이다. xR(T),yN(T)x \in R(T), y \in N(T)에 대하여 x=T(x)=T(x)x = T(x) = T^*(x)이고 다음이 성립한다.

<x,y>=<T(x),y>=<x,T(y)>=<x,0>=0<x, y> = <T^*(x), y> = <x, T(y)> = <x, 0> = 0

즉, xN(T)x \in N(T)^\bot이므로 R(T)N(T)R(T) \subseteq N(T)^\bot이 성립한다.

이제 yN(T)y \in N(T)^\bot에 대하여 yR(T)y \in R(T)를 보이자. 즉, T(y)=yT(y) = y면 된다.

yT(y)2=<yT(y),yT(y)>=<y,yT(y)><T(y),yT(y)>=<y,0><T(y),yT(y)>=<T(y),yT(y)>=<y,T(yT(y))>=<y,T(yT(y))>=<y,0>=0\begin{aligned} ||y - T(y)||^2 &= <y-T(y), y-T(y)>\\ &= <y,y - T(y)> - <T(y), y-T(y)>\\ &= <y, 0> - <T(y), y -T(y)>\\ &= - <T(y), y -T(y)>\\ &= -<y, T^*(y -T(y))>\\ &= -<y, T(y -T(y))>\\ &= -<y, 0> = 0 \end{aligned}

즉, yT(y)=0y-T(y) = 0이 될 것이다. 또한, y=T(y)R(T),R(T)=N(T)y = T(y) \in R(T), R(T) = N(T)^\bot이 될 것이다.

자 이제 조금 정리를 해보자. 이제 우리는 R(T)=N(T)N(T)R(T)^\bot = N(T)^{\bot \bot} \supseteq N(T)임을 알 수 있다. 이제 x(T)x \in (T)^\bot이라 가정하면, 임의의 yVy \in V에 대하여 <T(x),y>=<x,T(y)>=<x,T(y)>=0<T(x), y> = <x, T^*(y)> = <x, T(y)> = 0이 성립한다. 결과적으론 T(x)=0,xN(T)T(x) = 0, x \in N(T)임을 보이게 되는 것이다.즉, R(T)=N(T)R(T)^\bot = N(T)이다.

이제 대각화와 연결해보도록 하자. 유한차원 내적공간 VV, 부분공간 WW, WW로의 VV의 정사영 TT를 생각하자. {v1,v2,,vk}\{v_1, v_2, \dots, v_k\}WW의 기저가 되도록 VV의 정규직교기저 β={v1,v2,,vn}\beta = \{v_1, v_2, \dots, v_n\}을 잡으면, [T]β[T]_\beta는 첫 k개 대각성분이 1이고, 나머지 성분은 0인 대각행렬 꼴이 된다. 즉, 다음과 같은 모양이다.

(IkO1O2O3)\begin{pmatrix} I_k&O_1 \\ O_2&O_3 \end{pmatrix}

UUWW로의 임의의 사영일 때, [U]γ[U]_\gamma가 위의 꼴이 되도록하는 VV의 기저 γ\gamma를 잡을 수 잇지만, γ\gamma가 정규직교인지 보장할 수는 없게 된다.

2. 스펙트럼 정리

자 이제 거의 다 왔다.

정리 스펙트럼 정리
유한차원 FF-내적공간 VV의 선형연산자 TT의 서로 다른 고유값을 λ1,λ2,,λk\lambda_1, \lambda_2, \dots, \lambda_k라 하자. F=CF = C이면, TT는 정규연산자, F=RF = R이면 TT가 자기수반연산자라 가정하자. 각 i(1ik)i(1 \leq i \leq k)에 대하여 고유값 λi\lambda_i에 대응하는 고유공간을 WiW_i라 표기하자. WiW_i로의 VV의 정사영을 TiT_i라 할 때 다음이 성립한다.
1. V=W1W2WkV = W_1 \oplus W_2 \oplus \dots \oplus W_k
2. jij \neq i에 대하여 부분공간 WjW_j의 직합을 WiW_i'로 표기하자. Wi=WiW_i^\bot = W_i'이다.
3. 1i,jk1 \leq i, j \leq k에 대하여 TiTj=δijTjT_iT_j = \delta_{ij}T_j이다.
4. I=T1+T2++TkI = T_1 + T_2 + \dots + T_k
5. T=λ1T1+λ2T2++λkTkT = \lambda_1T_1 +\lambda_2T_2 + \dots + \lambda_kT_k

증명

  1. TT가 정규연산자 혹은 자기수반연산자이기 위한 필요충분조건은 정규직교기저 β\beta가 존재하는 것이다. 이를 이용하면 TT는 대각화가능하고, 결국 V=W1W2WkV = W_1 \oplus W_2 \oplus \dots \oplus W_k로 나타낼 수 있다.

  2. iji \neq j에 대해 xWi,yWjx \in W_i, y \in W_j라 해보자. 이때, 정규연산자의 성질에 의해 <x,y>=0<x , y> = 0이 되고, WiWiW_i' \subseteq W_i^\bot이 된다. 이때 WiW_i'의 차원은 다음과 같다.

    dim(Wi)=ijdim(Wi)=dim(V)dim(Wi)dim(W_i') = \sum_{i \neq j}dim(W_i) = dim(V) - dim(W_i)

    이때, dim(Wi)+dim(Wi)=dim(V)dim(W_i^\bot) + dim(W_i) = dim(V)이므로 dim(Wi)=dim(V)dim(Wi)dim(W^\bot_i) = dim(V) - dim(W_i)가 성립한다. 즉, Wi=WiW_i' = W^\bot_i이다.

  3. 각 고유 공간은 서로 직교한다. 이를 이용하면 iji \neq j일 때 xVx \in V에 대하여 <T1(x),T2(x)>=0<T_1(x), T_2(x)> = 0임을 알 수 있다. 반대로 i=ji =j라면, <T1(x),T2(x)>=1<T_1(x), T_2(x)> = 1이다.

  4. TiT_iWiW_i로의 VV의 정사영이기 때문에, N(Ti)=R(Ti)=Wi=WiN(T_i) = R(T_i)^\bot = W^\bot_i = W'_i가 된다. 즉, xVx \in V에 대하여 x = x_1 + x_2 + x_3 + \dots + x_k$이다.

  5. xVx \in Vx=x1+x2++xkx = x_1 + x_2 + \dots +x_k라 표기하자. 이때 다음이 성립함을 보일 수 있다.

    T(x)=i=1kT(xi)=i=1kλixi=i=1kλiTi(x)=(i=1kλiTi)(x)\begin{aligned} T(x) &= \sum^k_{i =1}T(x_i) \\ &= \sum^k_{i=1}\lambda_ix_i\\ &= \sum^k_{i =1}\lambda_iT_i(x)\\ &= (\sum^k_{i=1}\lambda_iT_i)(x) \end{aligned}

    즉 선형연산자 TTTT의 고유값과 그 고유값에 대응하는 정사영의 선형결합으로 표현할 수 있다. 이를 스펙트럼 분해라고 한다.

이때 TT의 고유값으로 이루어진 집합 {λ1,λ2,,λk}\{\lambda_1, \lambda_2, \dots, \lambda_k\}TT의 스펙트럼이라 한다. 네번째 성질인 I=T1+T2++TkI = T_1 + T_2 + \dots + T_kTT로 유도된 항등연산자 분해라 하고, 다섯번째 성질에서 나오는 T=(i=1kλiTi)T = (\sum^k_{i=1}\lambda_iT_i)TT의 스펙트럼 분해라고 한다. 만약 고유값의 배열순서를 무시한다면 TT의 스펙트럼 분해는 유일하다고 할 수 있다.

WiW_i의 정규직교기저의 합집합을 β\beta, 차원을 mim_i이라 하자. 이때 [T]β[T]_\beta는 다음과 같은 꼴이 된다.

즉, [T]β[T]_\beta는 중복도가 mim_i인 고유값 λi\lambda_i를 대각성분으로 하는 대각행렬이 된다. TT의 스펙트럼 분해가 λ1T1+λ2T2+λkTk\lambda_1T_1 + \lambda_2T_2 + \dots \lambda_kT_k라 하면, 어떤 다항식 gg에 대해 g(T)=g(λ1)T1+g(λ2)T2+g(λk)Tkg(T) = g(\lambda_1)T_1 + g(\lambda_2)T_2 + \dots g(\lambda_k)T_k가 성립하게 된다.

마지막으로 네가지 따름 정리를 살펴보도록 하자.

따름정리 1
F=CF = C일 때, TT가 정규연산자이기 위한 필요충분조건은 적절한 다항식 gg에 대하여 T=g(T)T^* = g(T)인 것이다.

증명
TT가 정규연산자라 가정하고, TT의 스펙트럼 분해를 T=i=1kλiTiT = \sum^k_{i=1}\lambda_iT_i라고 하자. 이때 이 식의 양변에 수반연산자를 취하면, TiT_i는 자기수반연산자이기 때문에, T=i=1kλiˉTiT^* = \sum^k_{i=1}\bar{\lambda_i}T_i가 될 것이다. 이때 라그랑주 보간법을 사용하여 1ik1 \leq i \leq k에 대해 g(λi)=λiˉg(\lambda_i) = \bar{\lambda_i}인 다항식 gg를 찾을 수 있다. 이를 이용해 다음 식이 성립하게 된다.

g(T)=i=1kg(λi)Ti=i=1kλiˉTi=Tg(T) = \sum^k_{i=1}g(\lambda_i)T_i = \sum^k_{i=1}\bar{\lambda_i}T_i = T^*

이제 TT가 정규연산자라면 T=g(T)T^* = g(T)인 적절한 다항식이 존재함을 알았다. 역으로 어떤 다항식 gg에 대하여 T=g(T)T^* = g(T)라 가정하면, TTTT에 대한 임의의 다항식과 가환적이기 때문에, TTTT^*가환적이다. 즉, TT는 정규연산자라 볼 수 있다.

따름정리 2
F=CF = C일 때, TT가 유니타리 연산자이기 위한 필요충분조건은 TT가 정규연산자이고, TT의 모든 고유값 λ\lambdaλ=1|\lambda| = 1인 것이다.

증명
TT가 유니타리 연산자라면 자연스레 정규연산자이다. 유니타리 연산자의 성질로 인해 TT의 모든 고유값은 절대값이 1임을 간단히 알 수 있다.

또한, TT의 스펙트럼 분해를 T=i=1nλiTiT = \sum^n_{i=1}\lambda_iT_i라고 하자. 이때 TT의 고유값의 절대값이 모두 1이라면 다음이 성립한다.

TT=(i=1nλiTi)(i=1nλiˉTi)=i=1nλi2Ti=i=1nTi=I\begin{aligned} TT^* &= (\sum^n_{i=1}\lambda_iT_i)(\sum^n_{i=1}\bar{\lambda_i}T_i)\\ &=\sum^n_{i=1}|\lambda_i|^2T_i\\ &= \sum^n_{i=1}T_i\\ &= I \end{aligned}

이때 정규연산자이므로 T2=TT^2 = T이고, 다른 고유값에 대응하는 연산자와 직교한다는 사실을 명심하자.
위의 결과로도 TT가 유니타리 연산자임을 확인할 수 있다.

따름정리 3
F=CF =C일 때, TT가 자기수반연산자이기 위한 필요충분조건은 TT가 정규연산자이고, TT의 모든 고유값이 실수인 것이다.

증명
TT가 정규연산자이고 모든 고유값이 실수라 가정해보자. TT의 스펙트럼 분해를 T=i=1nλiTiT = \sum^n_{i=1} \lambda_iT_i라 하면, 다음이 성립할 것이다.

T=i=1nλiˉTi=i=1nλiTi=TT^* = \sum^n_{i=1}\bar{\lambda_i}T_i = \sum^n_{i=1}\lambda_iT_i = T

그러므로 TT는 자기수반 연산자이다.

역으로 TT가 자기수반연산자라 가정하면, 자연스레 TT는 정규연산자일 것이다. 또한, 이때 자기수반연산자의 성질에 의해 TT의 고유값은 모두 실수일 것이다.

따름정리 4
TT의 스펙트럼 분해가 T=i=1nλiTiT = \sum^n_{i=1}\lambda_iT_i이면, 각 TjT_jTT에 대한 다항식이다.

증명
gj(λi)=δij(1jk)g_j(\lambda_i) = \delta_{ij}(1 \leq j \leq k)가 되도록 다항식 gjg_j를 잡아보자. 이때 다음과 같은 식이 성립할 것이다.

gj(T)=i=1ngj(λi)Ti=i=1nδijTi=Tj\begin{aligned} g_j(T) &= \sum^n_{i=1}g_j(\lambda_i)T_i\\ &=\sum^n_{i=1}\delta_{ij}T_i = T_j \end{aligned}

0개의 댓글