1. 수반연산자
이전에 행렬 A에 대한 켤레 전치행렬 A∗를 정의했었다. 행렬과 연산자는 뗄레야 뗄 수 없는 관계이기 때문에, 켤레 전치행렬에 대한 연산자 역시 따로 정의되어 있다.
정의 1. V의 임의의 정규직교기저 β에 대한 행렬표현이 [T]β∗인 선형연산자를 T의 수반연산자라 한다.
이때, 내적공간 V와 y∈V에 대하여 g(x)=<x,y>로 정의한 함수 g:V→F는 선형일 것이다. 여기서 만약 V가 유한차원이라면, V에서 F로 가는 모든 선형변환은 모두 <x,y>와 같은 꼴일 수밖에 없게 된다.
정리 1. 유한차원 F-내적공간 V와 선형변환 g:V→F를 생각하자. 모든 x∈V에 대하여 g(x)=<x,y>를 만족하는 벡터 y∈V가 유일하게 존재한다.
증명
V의 정규직교기저 {v1,v2,…,vn}에 대하여 y=∑i=1ng(vi)vi라 하자. 함수 h:V→F를 h(x)=<x,y>로 정의하면, h는 선형이어야 한다. 또한 1≤j≤n에 대해 다음 식이 성립한다.
h(vj)=<vj,y>=<vj,i=1∑ng(vi)vi>=i=1∑ng(vi)<vj,vi>=g(vj)
즉, g와 h는 모든 β의 원소에 대해 동일한 함수값을 가지므로 동일한 선형변환이라 할 수 있다. 이때, 모든 x에 대해 g(x)=<x,y′>이라 가정하면, 모든 <x,y>=<x,y′>이 성립하므로, y=y′이고, y는 유일하다는 것을 알 수 있다.
이제 내적공간의 수반연산자에 대해 정리해보자.
정리 2. 유한차원 내적공간 V와 선형연산자 T:V→V를 생각하자. 모든 x,y∈V에 대하여 <T(x),y>=<x,T∗(y)>인 함수 T∗:V→V가 존재한다. 특히 T∗는 선형변환이다.
즉, 선형연산이 유일하게 존재하듯이, 수반연산도 유일하게 존재한다는 의미이다.
증명
y∈V를 고정하고, 모든 x∈V에 대하여 함수 g:V→F를 g(x)=<T(x),y>로 정의해보자. 이제 1. g가 선형임을 보이고, 2. T∗이 선형임을 보이고, 3. T∗이 유일함을 보여 증명할 것이다.
-
g가 선형임을 보이자.
x1,x2∈V와 c∈F에 대하여 다음이 성립함을 알 수 있다.
g(cx1+x2)=<T(cx1+x2),y>=<cT(x1)+T(x2),y>=c<T(x1),y>+<T(x2),y>=cg(x1)+g(x2)
위와 같이 간단하게 g가 선형임을 알 수 있다.
또한 정리 1에 의해 g(x)=<x,y′>의 유일ㄹ한 y′가 존재하는 것을 알고 있다. 이는 <T(x),y>=<x,y′>가 되고, T∗:V→V를 T∗(y)=y′이라 정의한다면 <T(x),y>=<x,T∗(x)>가 성립하게 된다.
-
T∗가 선형임을 보이자.
y1,y2∈V,c∈F를 고정하면, 임의의 x∈V에 대하여 다음이 성립할 것이다.
<x,T∗(cy1+y2)>=<T(x),cy1+y2)=cˉ<T(x),y1>+<T(x),y2>=cˉ<x,T∗(y1)>+<x,T∗(y2)>=<x,cT∗(y1)+T∗(y2)>
여기서 x를 특정 벡터로 한정짓지 않았기 때문에, T∗(cy1+y2)=cT∗(y1)+T(y2)가 성립하고, T∗가 선형임을 알 수 있다.
-
T∗가 유일함을 보이자.
U:V→V가 선형이고, 모든 x,y∈V에 대하여 <T(x),y>=x,U(y)>를 만족한다고 가정해보자. x,y∈V에 대하여 <x,T∗(y)>=<x,U(y)>이므로, T∗=U이고, T∗는 유일하다.
이제 이를 종합하면, 모든 x,y∈V에 대하여 <T(x),y>=<x,T∗(y)>를 만족하는 선형변환 T∗:T→T가 유일하게 존재한다는 것을 알 수 있다. 이대 이 선형연산자 T∗를 T의 수반연산자라 한다. 이를 식으로 간단히 나타내면 다음과 같다.
<x,T(y)>=<T(y),x)>=<y,T∗(x)>=<T∗(x),y>
수반 연산자에 대해 한가지 주의할 점은 모든 연산자에 대해 수반연산자가 존재하지 않는다는 점이다. 앞서 정리 1 에서 가정했듯이 유한차원의 연산자에 대해서만 수반연산자가 항상 존재함을 보장할 수 있다.
2. 수반연산자의 성질
정리 3. 유한차원 벡터공간 V와 V의 정규직교기저 β, V의 선형연산자 T에 대하여 다음이 성립한다.
[T∗]β=[T]β∗
증명
A=[T]β,B=[T∗]β,β={v1,v2,…,vn}이라 ㅎ자. 이때, Bij는 다음과 같이 연결될 수 있다.
Bij=<T∗(vj),vi>=<vi,T∗(vj)>=<T(vi),vj>=Aˉji=(A∗)ij
즉, B=A∗이다.
따름정리 n×n행렬 A에 대하여 LA∗=(LA)∗이다.
이는 위의 정리로부터 자연스럽게 나오게 된다.
증명
Fn의 표준 순서기저를 β라 하자. 이때, [LA]β=A이므로 다음과 같이 정리할 수 있다.
[(LA)∗]β=[LA]β∗=A∗=[LA∗]β
지금까지의 정리를 살펴보면 복소수의 켤레복소수와 선형연산자의 수반연산자는 매우 닮았다는 것을 알 수 있을 것이다. 이를 정리해보자면 다음과 같다.
정리 4. 내적공간 V와 수반연산자가 존재하는 선형연산자 T,U에 대하여 다음이 성립한다.
1. T+U의 수반연산자는 존재하고 (T+U)∗=T∗+U∗이다.
2. 임의의 c∈F에 대하여 cT의 수반연산자가 존재하고, (cT)∗=cˉT∗이다.
3. TU의 수반연산자가 존재하고, (TU)∗=U∗T∗이다.
4. T∗의 수반연산자가 존재하고 T∗∗=T이다.
5. I의 수반연산자가 존재하고 I∗=I이다.
또한 행렬에 대해서도 동일한 성질들을 가지게 되는데 잠깐 정리해보면 다음과 같다.
따름정리 n×n행렬 A와 B에 대하여 다음이 성립한다.
1. (A+B)∗=A∗+B∗
2. c∈F에 대하여 (cA)∗=cˉA∗
3. (AB)∗=B∗A∗
4. A∗∗=A
5. I∗=I
3. 최소제곱법
잠시 위와 같은 상황을 가정해보자. 즉, 선형회귀식을 살펴보자. 우리는 결국 y=ct+d를 만족하는 a,b를 찾고 싶다. 이때 y,t등의 관측치는 상수로 간주할 수 있다. 하지만 관측치는 모두 약간의 잔차를 가질 수 밖에 없고, 그 회귀식은 완전히 적합되지 못한다. 즉, 연립일차방정식의 해가 존재하지 않는 상황이다.
하지만 이런 상황에서도 최대한 적합한 식을 찾아야 한다. 이때 적합도는 다음과 같은 식을 통해 측정된다.
E=i=1∑m(yi−cti−d)2
이때, 회귀식 y=ct+d를 최소제곱 직선이라고 부른다.
이를 관측치에 적용한 식은 다음과 같은 행렬과 벡터로 표현할 수 있다.
이때 오차는 E=∣∣y−Ax∣∣2으로 표현할 수 있다. 이제 우리는 E를 최소화하는 벡터 x0∈Fn을 찾아야 한다. 즉, 주어진 m×n행렬 A와 모든 벡터 x∈Fn에 대하여 ∣∣y−Ax0∣∣≤∣∣y−Ax∣∣를 만족하는 벡터 x0∈Fn를 찾고 싶은 것이다. 이에 성공하면 k차 다항식에 적합할 방법도 알 수 있을 것이다.
두 벡터 x,y∈Fn의 표준 내적을 <x,y>n으로 표기하고, x,y을 열벡터로 취급하면 <x,y>n=y∗x임을 확인해보자.
보조정리 1. A∈Mm×n(F),x∈Fn,y∈Fn에 대해 다음이 성립한다.
<Ax,y>m=<x,A∗y>n
증명
이는 내적의 성질을 이용하면 쉽게 정리 가능하다.
<Ax,y>m=y∗(Ax)=(y∗A)x=(A∗y)∗x=<x,A∗y>n
보조정리 2. A∈Mm×n(F)에 대하여 rank(A∗A)=rank(A)이다.
증명
이전에 증명한 차원정리에서 x∈Fn에 대해 A∗Ax=0이기 위한 필요충분조건이 Ax=0임을 보이면 될 것이다(역으로 말하면, A∗A와 A의 영공간이 같다.). Ax=0은 결국 A∗Ax=0을 내포하기 때문에, A∗Ax=0이라 가정하면 다음을 쉽게 보이게 된다.
0=<A∗Ax,x>n=<Ax,A∗∗x>m=<Ax,Ax>m
즉, Ax=0이 된다.
따름정리 rank(A)=n인 m×n 행렬 A에 대하여 A∗A는 항상 가역이다.
이제 m×n 행렬 A와 y∈Fn에 대해 W={Ax:x∈Fn}이라 정의해보자. 즉, W=R(LA))이다. 이때 y와 가장 가까운 W에 속하는 벡터는 유일하기 때문에 이를 Ax0라고 해보자. 이를 수식으로 나타내면 모든 x∈Fn에 대해 ∣∣Ax0−y∣∣≤∣∣Ax−y∣∣이어야 한다. 이는 E를 최소화하는 벡터이기도 하다. 직교여공간을 이야기하면서 봤듯이 Ax0−y∈A⊥이다. 다른말로하면 모든 x∈Fn에 대해 <Ax,Ax0−y>=0이다. 이때 보조정리 1을 이용하면 <x,A∗(Ax0−y)>=0,A∗(Ax0−y)=0이 된다. 이제 이 식을 풀어 해를 구하면 된다. 이때 rank(A)=n라는 .가정을 추가하면 다음과 같이 정리 된다.
A∗Ax0−A∗y=0A∗Ax0=A∗yx0=(A∗A)−1A∗y
이제 우리는 회귀식을 적합할 수 있게 되었다.
이를 정리하면 다음과 같다.
정리 5. A∈Mm×n(F),y∈Fn이 주어지면, 모든 x∈Fn에 대해 ∣∣Ax0−y∣∣≤∣∣Ax−y∣∣이며, (A∗A)x0=A∗y인 벡터 x0∈Fn이 존재한다. 특히 rank(A)=n이라면 x0=(A∗A)−1A∗y로 정리된다.