[선형대수] Lecture 33: Left and right inverses; pseudoinverse

https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/video_galleries/video-lectures/

이번 강의에서는 다음과 같은 내용을 다룬다.

• About 4 subspaces (rowspace, $N(A^T)$, columnspace, $N(A)$)
• left-inverses
• right-inverses
• pseudo-inverses

---

먼저 2-sided inverse 를 알아보자.

보다시피 full rank 일 경우, invertible matrix A 는 위와 같은 수식을 만족한다.

---

다음으로 left inverse 에 대해서 알아보자.
우선 전제 조건은 다음과 같다.

그리고 위로부터 다음과 같은 추론이 가능하다.

• nullspace ($N(A)$) = $\{0\}$
• indepentdent columns
• 0 or 1 solutions to $Ax=b$

그리고 $r=n<m$ 일 경우 $A^TA$ 도 위와 같은 특징을 갖는다.

이어서 다음 수식을 보자.

$A^{-1}_{left}=(A^TA)^{-1}A^T$ 가 left inverse 이다.

---

right inverse 는 다음과 같다.

그리고 위로부터 다음과 같은 추론이 가능하다.

• nullspace ($N(A^T)$) = $\{0\}$
• indepentdent rows
• many solutions to $Ax=b$

그리고 $r=m<n$ 일 경우 $AA^T$ 도 위와 같은 특징을 갖는다.

---

그렇다면 $AA_{left}^{-1}$ 과 $A_{right}^{-1}A$ 로 수식을 두면 어떻게 될까?

즉, 각 columnspace 와 rowspace의 projection 행렬에 해당한다는 것을 알 수 있다.

---

이제 Pseudo inverse 에 대해서 알아보자.

우선 다음과 같은 명제를 보자.

그리고 rowspace 와 columnspace 를 서로 오갈 때 다음과 같이 적용된다.

1. rowspace -> columnspace
   • $x\underbrace{\to}_A Ax$
   • $y\underbrace{\to}_A Ay$
2. columnspace -> rowspace
   • $Ax\underbrace{\to}_{A^{+}} A^{+}Ax=x$
   • $Ay\underbrace{\to}_{A^{+}} A^{+}Ay=y$

위에서 $A^+$ 는 pseudo inverse 를 의미한다.

다음으로 "$\text{If $x,y~(x\ne y)$ in rowspace then $Ax\ne Ay$.}$" 명제가 참인 이유를 증명해보자.

즉, $Ax=Ay$ 를 만족하는 경우는 $x=y$ 일 경우에만 해당한다는 것을 알 수 있다.

---

그렇다면 어떻게 pseudo inverse matrix $A^+$ 를 구할 수 있을까?
지난 강의에서 배운 SVD ( Singular Value Decomposition ) 을 활용하자.

위에서 $\Sigma^+$ 를 구했다. 그리고 $u, v$ 는 orthogonal 이므로 inverse 와 transpose 가 같다는 것을 알 수 있다. ($u^T=u^{-1}$)

따라서 $A^+$ 는 다음과 같다.