Positive Definite Matrix

positive Definite Matrix (양의 정부호 행렬, 이하 pdm)

이름처럼 양수와 유사한 특징을 갖는다.

양의 실수도 곱했을 때 크기만 바꾸고 방향을 바꾸지 못하는 것 처럼, pdm도 +-90도 이상 방향을 바꾸지 못한다.

그 이유는 pdm의 정의를 보면 알 수 있다.

즉, x에 Ax를 곱했을때 그 방향이 양수인 행렬 A가 되려면 x와 Ax의 방향이 같아야 한다.

x와 x는 같은 방향이므로 x에 A로 선형변환을 했을때도 x와 x의 방향은 같다는 말이 된다.

즉, A는 x의 방향을 $\pm 90 \degree$이상 변화시키지 않는다는 말이다.

양의 정부호와 고윳값

• $x^{T}Ax>0$이므로 $\lambda>0$이다.
• 고윳값은 행렬이 선형변환을 만들때 고유벡터 방향으로 얼마나 변화 하는자를 나타낸다.
• 고윳값 $\lambda$는 고유벡터의 방향으로 얼마만큼 행렬이 변하는지 보여주는 값이다.
• A 행렬로 인한 선형 변환은 x를 뒤집지는 못하고 그 방향으로 scaling만 된다.
• 즉, $\lambda$는 양수일 수 밖에 없다.

양의 정부호와 헤시안 행렬

Hessian Matrix

양의 정부호 행렬은 최적화 분야에서도 많이 사용된다.

해시안 행렬은 대칭 행렬이고 p.d.m이다.

해시안 행렬은 이 p.d.m이 아니면 bowl형태가 아닌 saddle 형태가 된다.

다시 말해, 어떤 두 번 미분가능한 실함수 f에 대해서 Hessian 행렬이 pdm이면 이 함수는 전체적인 형태는 아래로 볼록하고, 필연적으로 극속값을 갖는다.

참고문헌

양의 정부호 행렬 (positive definite matrix) - 공돌이의 수학정리노트 (Angelo's Math Notes)