14. 선형연산자와 수반연산자(adjoint)

김재희·2021년 9월 7일
0

Linear Algebra

목록 보기
14/18

1. 수반연산자

이전에 행렬 AA에 대한 켤레 전치행렬 AA^*를 정의했었다. 행렬과 연산자는 뗄레야 뗄 수 없는 관계이기 때문에, 켤레 전치행렬에 대한 연산자 역시 따로 정의되어 있다.

정의 1. VV의 임의의 정규직교기저 β\beta에 대한 행렬표현이 [T]β[T]_\beta^*인 선형연산자를 TT의 수반연산자라 한다.

이때, 내적공간 VVyVy \in V에 대하여 g(x)=<x,y>g(x) = <x, y>로 정의한 함수 g:VFg:V \to F는 선형일 것이다. 여기서 만약 VV가 유한차원이라면, VV에서 FF로 가는 모든 선형변환은 모두 <x,y><x, y>와 같은 꼴일 수밖에 없게 된다.

정리 1. 유한차원 FF-내적공간 VV와 선형변환 g:VFg:V\to F를 생각하자. 모든 xVx \in V에 대하여 g(x)=<x,y>g(x) = <x, y>를 만족하는 벡터 yVy \in V가 유일하게 존재한다.

증명
VV의 정규직교기저 {v1,v2,,vn}\{v_1, v_2, \dots, v_n\}에 대하여 y=i=1ng(vi)viy = \sum^n_{i=1}\overline{g(v_i)}v_i라 하자. 함수 h:VFh : V \to Fh(x)=<x,y>h(x) = <x, y>로 정의하면, hh는 선형이어야 한다. 또한 1jn1\leq j \leq n에 대해 다음 식이 성립한다.

h(vj)=<vj,y>=<vj,i=1ng(vi)vi>=i=1ng(vi)<vj,vi>=g(vj)\begin{aligned} h(v_j) &= <v_j, y>\\ &= <v_j, \sum^n_{i=1}\overline{g(v_i)}v_i>\\ &= \sum^n_{i=1}g(v_i)<v_j, v_i>\\ &= g(v_j) \end{aligned}

즉, gghh는 모든 β\beta의 원소에 대해 동일한 함수값을 가지므로 동일한 선형변환이라 할 수 있다. 이때, 모든 xx에 대해 g(x)=<x,y>g(x) = <x, y'>이라 가정하면, 모든 <x,y>=<x,y><x, y> = <x, y'>이 성립하므로, y=yy= y'이고, yy는 유일하다는 것을 알 수 있다.

이제 내적공간의 수반연산자에 대해 정리해보자.

정리 2. 유한차원 내적공간 VV와 선형연산자 T:VVT: V \to V를 생각하자. 모든 x,yVx, y \in V에 대하여 <T(x),y>=<x,T(y)><T(x), y> = <x, T^*(y)>인 함수 T:VVT^* : V \to V가 존재한다. 특히 TT^*는 선형변환이다.

즉, 선형연산이 유일하게 존재하듯이, 수반연산도 유일하게 존재한다는 의미이다.
증명
yVy \in V를 고정하고, 모든 xVx \in V에 대하여 함수 g:VFg: V \to Fg(x)=<T(x),y>g(x) = <T(x), y>로 정의해보자. 이제 1. gg가 선형임을 보이고, 2. TT^*이 선형임을 보이고, 3. TT^*이 유일함을 보여 증명할 것이다.

  1. gg가 선형임을 보이자.
    x1,x2Vx_1, x_2 \in VcFc \in F에 대하여 다음이 성립함을 알 수 있다.

    g(cx1+x2)=<T(cx1+x2),y>=<cT(x1)+T(x2),y>=c<T(x1),y>+<T(x2),y>=cg(x1)+g(x2)\begin{aligned} g(cx_1 + x_2) &= <T(cx_1 + x_2), y> \\ &= <cT(x_1) + T(x_2),y> \\ &= c<T(x_1), y> + <T(x_2), y> \\ &= cg(x_1) + g(x_2) \end{aligned}

    위와 같이 간단하게 gg가 선형임을 알 수 있다.
    또한 정리 1에 의해 g(x)=<x,y>g(x) = <x, y'>의 유일ㄹ한 yy'가 존재하는 것을 알고 있다. 이는 <T(x),y>=<x,y><T(x), y> = <x, y'>가 되고, T:VVT^* : V\to VT(y)=yT^*(y) = y'이라 정의한다면 <T(x),y>=<x,T(x)><T(x), y> = <x, T^*(x)>가 성립하게 된다.

  2. TT^*가 선형임을 보이자.
    y1,y2V,cFy_1, y_2 \in V, c \in F를 고정하면, 임의의 xVx \in V에 대하여 다음이 성립할 것이다.

    <x,T(cy1+y2)>=<T(x),cy1+y2)=cˉ<T(x),y1>+<T(x),y2>=cˉ<x,T(y1)>+<x,T(y2)>=<x,cT(y1)+T(y2)>\begin{aligned} <x, T^*(cy_1 + y_2)> &= <T(x), cy_1 + y_2)\\ &= \bar{c}<T(x), y_1> + <T(x), y_2>\\ &= \bar{c}<x, T^*(y_1)> + <x, T^*(y_2)>\\ &=<x, cT^*(y_1) + T^*(y_2)> \end{aligned}

    여기서 xx를 특정 벡터로 한정짓지 않았기 때문에, T(cy1+y2)=cT(y1)+T(y2)T^*(cy_1 + y_2) = cT^*(y_1) + T(y_2)가 성립하고, TT^*가 선형임을 알 수 있다.

  3. TT^*가 유일함을 보이자.
    U:VVU : V\to V가 선형이고, 모든 x,yVx, y \in V에 대하여 <T(x),y>=x,U(y)><T(x), y> = x, U(y)>를 만족한다고 가정해보자. x,yVx, y \in V에 대하여 <x,T(y)>=<x,U(y)><x, T^*(y)> = <x, U(y)>이므로, T=UT^* =U이고, TT^*는 유일하다.

이제 이를 종합하면, 모든 x,yVx, y \in V에 대하여 <T(x),y>=<x,T(y)><T(x), y> = <x, T^*(y)>를 만족하는 선형변환 T:TTT^*: T\to T가 유일하게 존재한다는 것을 알 수 있다. 이대 이 선형연산자 TT^*TT의 수반연산자라 한다. 이를 식으로 간단히 나타내면 다음과 같다.

<x,T(y)>=<T(y),x)>=<y,T(x)>=<T(x),y><x, T(y)> = \overline{<T(y), x)>} = \overline{<y, T^*(x)>} = <T^*(x), y>

수반 연산자에 대해 한가지 주의할 점은 모든 연산자에 대해 수반연산자가 존재하지 않는다는 점이다. 앞서 정리 1 에서 가정했듯이 유한차원의 연산자에 대해서만 수반연산자가 항상 존재함을 보장할 수 있다.

2. 수반연산자의 성질

정리 3. 유한차원 벡터공간 VVVV의 정규직교기저 β\beta, VV의 선형연산자 TT에 대하여 다음이 성립한다.

[T]β=[T]β[T^*]_\beta = [T]^*_\beta

증명
A=[T]β,B=[T]β,β={v1,v2,,vn}A = [T]_\beta, B = [T^*]_\beta, \beta = \{v_1, v_2, \dots, v_n\}이라 ㅎ자. 이때, BijB_{ij}는 다음과 같이 연결될 수 있다.

Bij=<T(vj),vi>=<vi,T(vj)>=<T(vi),vj>=Aˉji=(A)ijB_{ij} = <T^*(v_j),v_i> = \overline{<v_i, T^*(v_j)>} = \overline{<T(v_i),v_j>} = \bar{A}_{ji} = (A^*)_{ij}

즉, B=AB = A^*이다.

따름정리 n×nn\times n행렬 AA에 대하여 LA=(LA)L_{A^*} = (L_A)^*이다.

이는 위의 정리로부터 자연스럽게 나오게 된다.
증명
FnF^n의 표준 순서기저를 β\beta라 하자. 이때, [LA]β=A[L_A]_\beta = A이므로 다음과 같이 정리할 수 있다.

[(LA)]β=[LA]β=A=[LA]β[(L_A)^*]_\beta = [L_A]^*_\beta = A^* = [L_{A^*}]_\beta

지금까지의 정리를 살펴보면 복소수의 켤레복소수와 선형연산자의 수반연산자는 매우 닮았다는 것을 알 수 있을 것이다. 이를 정리해보자면 다음과 같다.

정리 4. 내적공간 VV와 수반연산자가 존재하는 선형연산자 T,UT, U에 대하여 다음이 성립한다.
1. T+UT + U의 수반연산자는 존재하고 (T+U)=T+U(T+U)^* = T^* + U^*이다.
2. 임의의 cFc\in F에 대하여 cTcT의 수반연산자가 존재하고, (cT)=cˉT(cT)^* = \bar{c}T^*이다.
3. TUTU의 수반연산자가 존재하고, (TU)=UT(TU)^* = U^*T^*이다.
4. TT^*의 수반연산자가 존재하고 T=TT^** = T이다.
5. II의 수반연산자가 존재하고 I=II^* =I이다.

또한 행렬에 대해서도 동일한 성질들을 가지게 되는데 잠깐 정리해보면 다음과 같다.

따름정리 n×nn\times n행렬 AABB에 대하여 다음이 성립한다.
1. (A+B)=A+B(A+B)^* = A^* + B^*
2. cFc\in F에 대하여 (cA)=cˉA(cA)^* = \bar{c}A^*
3. (AB)=BA(AB)^* = B^*A^*
4. A=AA^{**} = A
5. I=II^* = I

3. 최소제곱법


잠시 위와 같은 상황을 가정해보자. 즉, 선형회귀식을 살펴보자. 우리는 결국 y=ct+dy = ct + d를 만족하는 a,ba, b를 찾고 싶다. 이때 y,ty, t등의 관측치는 상수로 간주할 수 있다. 하지만 관측치는 모두 약간의 잔차를 가질 수 밖에 없고, 그 회귀식은 완전히 적합되지 못한다. 즉, 연립일차방정식의 해가 존재하지 않는 상황이다.

하지만 이런 상황에서도 최대한 적합한 식을 찾아야 한다. 이때 적합도는 다음과 같은 식을 통해 측정된다.

E=i=1m(yictid)2E = \sum^m_{i=1}(y_i - ct_i -d)^2

이때, 회귀식 y=ct+dy =ct + d를 최소제곱 직선이라고 부른다.

이를 관측치에 적용한 식은 다음과 같은 행렬과 벡터로 표현할 수 있다.

이때 오차는 E=yAx2E = ||y-Ax||^2으로 표현할 수 있다. 이제 우리는 EE를 최소화하는 벡터 x0Fnx_0 \in F^n을 찾아야 한다. 즉, 주어진 m×nm \times n행렬 AA와 모든 벡터 xFnx \in F^n에 대하여 yAx0yAx||y-Ax_0|| \leq ||y-Ax||를 만족하는 벡터 x0Fnx_0 \in F^n를 찾고 싶은 것이다. 이에 성공하면 kk차 다항식에 적합할 방법도 알 수 있을 것이다.

두 벡터 x,yFnx, y \in F^n의 표준 내적을 <x,y>n<x, y>_n으로 표기하고, x,yx, y을 열벡터로 취급하면 <x,y>n=yx<x, y>_n = y*x임을 확인해보자.

보조정리 1. AMm×n(F),xFn,yFnA \in M_{m \times n}(F), x \in F^n, y \in F^n에 대해 다음이 성립한다.

<Ax,y>m=<x,Ay>n<Ax, y>_m = <x, A^*y>_n

증명
이는 내적의 성질을 이용하면 쉽게 정리 가능하다.

<Ax,y>m=y(Ax)=(yA)x=(Ay)x=<x,Ay>n<Ax, y>_m = y^*(Ax) = (y^*A)x = (A^*y)*x = <x, A^*y>_n

보조정리 2. AMm×n(F)A \in M_{m \times n}(F)에 대하여 rank(AA)=rank(A)rank(A^*A) = rank(A)이다.

증명
이전에 증명한 차원정리에서 xFnx \in F^n에 대해 AAx=0A^*Ax = 0이기 위한 필요충분조건이 Ax=0Ax = 0임을 보이면 될 것이다(역으로 말하면, AAA^*AAA의 영공간이 같다.). Ax=0Ax = 0은 결국 AAx=0A^*Ax = 0을 내포하기 때문에, AAx=0A^*Ax =0이라 가정하면 다음을 쉽게 보이게 된다.

0=<AAx,x>n=<Ax,Ax>m=<Ax,Ax>m0 = <A^*Ax, x>_n = <Ax, A^{**}x>_m = <Ax, Ax>_m

즉, Ax=0Ax = 0이 된다.

따름정리 rank(A)=nrank(A) = nm×nm\times n 행렬 AA에 대하여 AAA^*A는 항상 가역이다.

이제 m×nm\times n 행렬 AAyFny \in F^n에 대해 W={Ax:xFn}W = \{Ax : x \in F^n\}이라 정의해보자. 즉, W=R(LA))W = R(L_A))이다. 이때 yy와 가장 가까운 WW에 속하는 벡터는 유일하기 때문에 이를 Ax0Ax_0라고 해보자. 이를 수식으로 나타내면 모든 xFnx \in F^n에 대해 Ax0yAxy||Ax_0 - y|| \leq ||Ax -y||이어야 한다. 이는 EE를 최소화하는 벡터이기도 하다. 직교여공간을 이야기하면서 봤듯이 Ax0yAAx_0 -y \in A^\bot이다. 다른말로하면 모든 xFnx \in F^n에 대해 <Ax,Ax0y>=0<Ax, Ax_0 - y> =0이다. 이때 보조정리 1을 이용하면 <x,A(Ax0y)>=0,A(Ax0y)=0<x, A^*(Ax_0 - y)> = 0, A^*(Ax_0 -y) =0이 된다. 이제 이 식을 풀어 해를 구하면 된다. 이때 rank(A)=nrank(A) =n라는 .가정을 추가하면 다음과 같이 정리 된다.

AAx0Ay=0AAx0=Ayx0=(AA)1AyA^*Ax_0 - A^*y = 0\\ A^*Ax_0 = A^*y\\ x_0 = (A^*A)^{-1}A^*y

이제 우리는 회귀식을 적합할 수 있게 되었다.
이를 정리하면 다음과 같다.

정리 5. AMm×n(F),yFnA \in M_{m \times n}(F), y \in F^n이 주어지면, 모든 xFnx \in F^n에 대해 Ax0yAxy||Ax_0 -y||\leq ||Ax -y||이며, (AA)x0=Ay(A^*A)x_0=A^*y인 벡터 x0Fnx_0 \in F^n이 존재한다. 특히 rank(A)=nrank(A) = n이라면 x0=(AA)1Ayx_0 = (A^*A)^{-1}A^*y로 정리된다.

0개의 댓글