Summay
Learn
- Machine learning Yearning (한글 번역 링크)
- PCA, FA, 특잇값 분해, 고윳값 분해
Read/Watch
- Early days of AI
https://blog.eladgil.com/p/early-days-of-ai?utm_source=substack&utm_medium=email - 좋아하는 일에 대한 생각 블로그
https://moozii-study.tistory.com/entry/2023%EB%85%84-2%EC%9B%94%EC%9D%98-%EC%83%9D%EA%B0%81%EB%93%A4-%EA%B8%80-%EC%A1%B0%EA%B0%81-%EB%AA%A8%EC%9D%8C
Detail
-
차원이 높아지는 부분에 대한 이슈
- 다중공선성 이슈, 차원이 높아짐에 따라서 필요한 데이터 수가 많아지는 문제, 설명력이 없는 변수를 넣어서 생기는 과적합 문제 해결을 위해 최소한 정보의 손실을 잃지 않으면서 차원 수를 줄여나가는 작업들에 대한 고민이 필요하다.
-
주어진 데이터에서 요인을 분석하는 것이 요인 분석인데 그 중에서 전체 분산을 토대로 요인을 추출하는게 PCA이고 공통분산만을 토대로 요인을 추출하는 것이 Common Factor Analysis이다.
-
고유값 분해와 PCA의 관계
- PCA의 핵심은 좌표계를 어떻게 선정하냐의 문제인데 고유값과 고유벡터는 그 행렬이 벡터의 변화에 작용하는 주축의 방향을 알려주기 때문에 공분산행렬의 고유벡터는 데이터가 어떤 방향으로 "분산"되어 있는지를 찾아준다. 즉 무조건 고윳값 분해가 의미있는게 아니라, 공분산 행렬에 대한 분해가 핵심.
-
PCA : 전체 데이터 분포를 가장 잘 설명할 수 있게 일종의 축 좌표계를 이동시키는 것인데 이 때 굳이 필요없는 축(분산의 비중을 보며)은 제외시킬 수 있다. 주성분 축과 데이터간의 거리를 n-1로 나누어서 계산하는 것을 V1이라고 하면, V1/sum(V1,V2,...Vn)이렇게 계산해서 그 비율이 높은 순으로 분석한다.
-
특이값 분해
- 어떤 행렬을 직교행렬 diagonal Matrix 직교행렬로 표현할 수 있고, 중간의 diagonal Matrix가 결국 표현할 수 있는 정보량을 의미하기 때문에, 이게 결국 차원 축소에 활용할 수 있게 됨.(유사한 개념으로 고유값 분해가 있는데, 계산과 전제 조건이 어려워서 실제 활용하기 쉽지 않다.)
출처 : 공돌이의 수학정리노트(링크)
Link
PCA 관련 상세하게 설명해주신 글 : https://velog.io/@swan9405/PCA
행렬 관련 수학 블로그 : https://angeloyeo.github.io/2019/08/06/determinant.html#fnref:1
Lean, Learn, Lesson