이번 강의 시리즈에서는 "Math for ML"이라는 주제로 세 가지 파트를 소개합니다. 첫 번째 파트에서는 매트릭스 디컴포지션(Matrix Decomposition)을 다룰 예정입니다. 이번 강의에서는 행렬의 기본 개념인 디터미넌트(Determinant), 트레이스(Trace), 그리고 다양한 행렬 분해 방법인 초월스키 디컴포지션(Cholesky Decomposition), 아이겐 디컴포지션(Eigen Decomposition), LU 분해, 그리고 싱글러 밸류 디컴포지션(SVD)에 대해 정리합니다.
디터미넌트와 트레이스
디터미넌트
디터미넌트는 행렬의 성질을 나타내는 중요한 값 중 하나입니다. 예를 들어, 2x2 행렬의 디터미넌트는 다음과 같이 계산됩니다:
det(𝐴) = 𝑎𝑑−𝑏𝑐
이 값이 0이 아니면 행렬 A는 역행렬을 가지며, 0이면 역행렬이 존재하지 않습니다.
트레이스
트레이스는 행렬의 주대각선 요소들의 합을 의미합니다. 예를 들어, 2x2 행렬의 트레이스는 다음과 같이 계산됩니다:
tr(𝐴)=𝑎+𝑑
트레이스는 주로 행렬의 성질을 파악하거나, 행렬의 대각화 과정에서 중요한 역할을 합니다.
아이겐 디컴포지션
아이겐밸류와 아이겐벡터
아이겐밸류(고유값)와 아이겐벡터(고유벡터)는 행렬의 중요한 성질을 나타냅니다. 행렬 𝐴가 주어졌을 때, 다음 조건을 만족하는 𝜆와 𝑥를 각각 아이겐밸류와 아이겐벡터라고 합니다:
𝐴𝑥 = 𝜆𝑥
아이겐 디컴포지션은 행렬을 고유값과 고유벡터로 분해하는 방법으로, 주어진 행렬 𝐴를 다음과 같이 표현합니다:
𝐴 = 𝑃Λ𝑃 −1
여기서 𝑃는 고유벡터들로 이루어진 행렬이고, Λ는 고유값들이 대각선에 위치한 대각 행렬입니다.
초월스키 디컴포지션
초월스키 디컴포지션은 대칭 행렬을 두 개의 하삼각 행렬로 분해하는 방법입니다. 대칭 양의 정부호 행렬 𝐴는 다음과 같이 분해할 수 있습니다:
𝐴 = 𝐿𝐿^𝑇
여기서 𝐿은 하삼각 행렬입니다. 초월스키 디컴포지션을 사용하면 역행렬 계산, 행렬식 계산 등이 간단해집니다.
싱글러 밸류 디컴포지션 (SVD)
SVD의 정의
SVD는 임의의 행렬을 세 개의 행렬로 분해하는 방법입니다. 행렬 𝐴는 다음과 같이 분해됩니다:
𝐴 = 𝑈Σ𝑉^𝑇
여기서 𝑈와 𝑉는 각각 직교 행렬이고, Σ는 대각 행렬입니다. SVD는 모든 행렬에 대해 존재하며, 데이터 압축, 잡음 제거 등 다양한 응용 분야에서 사용됩니다.
SVD와 아이겐 디컴포지션의 관계
SVD는 아이겐 디컴포지션의 일반화된 형태입니다. 아이겐 디컴포지션이 대칭 행렬에만 적용되는 반면, SVD는 모든 행렬에 적용될 수 있습니다. 따라서, SVD는 더 넓은 범위의 문제에 대해 사용될 수 있습니다.
정리 및 결론
이번 강의에서는 매트릭스 디컴포지션의 기본 개념과 다양한 방법에 대해 알아보았습니다. 디터미넌트와 트레이스, 아이겐 디컴포지션, 초월스키 디컴포지션, 그리고 싱글러 밸류 디컴포지션에 대해 다루었으며, 각각의 방법이 어떤 상황에서 유용한지에 대해 정리해보았습니다.
이 요약본은 LG Aimers Academy의 교육 내용을 바탕으로 작성되었습니다.
