5.2 선형판별분석을 통한 지도 방식의 데이터 압축

선형 판별 분석 (Linear Discriminant Analysis)

• 차원의 저주로 인한 과대적합 해결
• 기본적으로 PCA 유사

5.2.1 PCA vs LDA

• 일반적으로 LDA가 지도학습이라 더 좋다고 생각할 수 있음
• But 클래스별 샘플이 몇 개 안될 때 오히려 PCA가 좋을 수 있음

Fisher's LDA

쉽게 말해서 LDA라는 것은 집단간의 분산(거리)는 최대화 하고 집단내의 거리는 최소화 하는 새로운 차원을 찾는 것이다.

LDA 동작 방식

1. d차원의 데이터셋을 표준화
2. 각 클래스에 대해 d차원의 평균 벡터 계산
3. $S_B , S_W$ 계산
4. $S_W^{-1}S_B$ 고유값 고유 벡터 계산
5. 고윳값 내림차순 정렬
6. k개 선택
7. 변환 행렬 $\text{w}$로 사영

산포 행렬 계산

참고자료

• https://m.blog.naver.com/unirone/221847116920