데이터가 n개의 변수를 가지고 있다면 해당 데이터는 n개의 차원을 가진 공간에 위치하게 된다. 데이터의 차원이 많아질수록 데이터가 위치하게 될 공간의 크기도 커지게 되며, 데이터 간 거리도 그에 따라 늘어나게 된다. 이처럼 데이터의 밀도가 낮아지는 현상을 데이터가 희소(Sparse)해진다고 말한다.
데이터가 희소해지게 되면 데이터 간 거리계산이 잘 통하지 않게 되며, 모델의 연산량이 증가하고 일반화 성능이 떨어지게 된다. 따라서, 데이터가 고차원일 때 모델의 성능을 높여주기 위해서 차원을 축소하는 기법들이 등장하였다.
차원을 축소하는 것은 가지를 잘라낼지, 아니면 새로 엮을지에 대한 판단을 하는 것이라고 볼 수 있다. 차원축소 방법에는 크게 차원선택과 차원추출이 있다.
차원선택이란 전체 차원 중 무엇이 중요한지, 의미상 중복되는 것은 없는지를 파악하여 의미있다고 판단되는 것들만 선택하는 것이다. 차원선택을 하게 되면 원래 변수의 의미를 그대로 유지한 채로 모델을 단순화할 수 있어, 해석에 용이하다는 장점이 있지만, 데이터의 정보 일부를 누락하게 되면서 변수 간 복잡한 상호작용은 놓칠 수 있다는 단점이 있다.
차원 추출이란 데이터를 가장 잘 설명하는 새로운 차원을 새롭게 생성하는 것이다. 기존 변수의 정보를 압축하고 구조를 요약하여 정보의 누락을 최소화하면서 차원을 축소하는 것이다. 차원 추출은 고차원의 데이터를 저차원으로 압축하여 데이터를 시각화하는 데에 용이하며, 다중공신성 문제를 완화할 수 있다는 장점이 있다. 그러나, 새롭게 생성된 변수는 그 의미가 추상화되어 해석할 때 어려움이 존재한다는 단점이 있다. 차원 추출의 대표적인 방법에는 주성분 분석(PCA), 요인분석(FA), 선형판별분석(LDA), t-SNE, UMAP이 있다.
이들 중, 주성분 분석(PCA)과 요인 분석(FA)은 모두 고차원 데이터를 저차원으로 축소하기 위한 기법이지만, 그 목적과 접근 방식에서 차이가 있다. 주성분 분석은 데이터의 분산(variability)을 최대한 보존하면서 차원을 줄이는 기법이다. 데이터의 분포를 가장 잘 설명할 수 있는 새로운 축(주성분)을 찾고, 해당 축으로 데이터를 투영한다.
요인 분석은 관찰된 변수들이 몇 개의 잠재 요인에 의해 설명될 수 있다는 가정 하에 수행된다. 관찰된 여러 변수들이 공통된 몇 개의 '요인'에 영향을 받는다고 보는 접근 방식이다. 예를 들어, '업무가 힘들다', '스트레스를 느낀다', '피로하다' 등은 모두 다른 변수에 해당하지만 사실은 '업무 부담'이라는 하나의 요인이 세 가지 요인에 모두 영향을 미치고 있을 수 있다. 요인분석은 이러한 숨은 원인을 찾아내는 것을 목표로 한다.
요약하면, PCA는 데이터를 구조적으로 압축하는 것을 목적으로 하지만, FA는 변수 간의 관계를 해석하고 설명하는 데에 중점을 둔다.
