🛸 차원 축소(Dimensionality Reduction): PCA · LDA · Kernel PCA

1️⃣ 차원 축소란?

차원 축소(Dimensionality Reduction) 는
고차원 데이터의 특징을 손실을 최소화하며 저차원으로 압축하는 기법이다.

목적	설명
시각화	2D·3D 공간에서 데이터 구조 확인
속도 향상	학습·예측 시간 단축
노이즈 제거	불필요한 변수 제거
과적합 방지	단순화된 모델 구조로 일반화 성능 향상

💡 실제 데이터셋(예: 100개 변수)은 중복 정보가 많다.
PCA, LDA, Kernel PCA는 이를 효율적으로 요약한다.

---

2️⃣ 주성분 분석 (PCA: Principal Component Analysis)

💡 개념

데이터의 분산이 가장 큰 방향을 찾아
새로운 축(주성분, Principal Component)으로 회전시켜 표현하는 선형 차원 축소 기법.

즉, 원래의 변수들을 선형 결합해 정보 손실 최소화.

---

⚙️ 원리

1. 데이터 평균을 0으로 맞춤 (중심화)
2. 공분산 행렬 계산
3. 고유값(eigenvalue)·고유벡터(eigenvector) 계산
4. 가장 큰 고유값에 해당하는 축으로 투영
5. 주요 축 몇 개만 선택해 차원 축소

• $X$: 입력 데이터
• $W$: 투영 벡터 (고유벡터)
• $Z$: 변환된 데이터 (주성분)

---

🧩 직관

2차원 데이터를 생각해보면,
분산이 가장 큰 방향(즉, 데이터가 가장 퍼진 축)을 새 좌표축으로 회전시킨다.
→ 시각화 시 데이터의 본질적 구조를 더 명확히 볼 수 있다.

---

🧪 Python 실습

from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

sc = StandardScaler()
X_scaled = sc.fit_transform(X)

pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_scaled)

print(pca.explained_variance_ratio_)

💡 explained_variance_ratio_ 는 각 주성분이 설명하는 분산 비율.
예: [0.72, 0.18] → 첫 번째 주성분이 72% 설명.

---

🧪 시각화

import matplotlib.pyplot as plt
plt.scatter(X_pca[:,0], X_pca[:,1], c=y, cmap='rainbow')
plt.title('PCA Visualization (2 Components)')
plt.xlabel('PC1')
plt.ylabel('PC2')
plt.show()

결과:
고차원 데이터를 2D 평면에서 시각화 —
클래스 간 구조나 군집 형태가 직관적으로 드러난다.

---

🧪 R 실습

dataset = scale(dataset[, -3])
pca = prcomp(dataset)
summary(pca)
biplot(pca)

biplot()으로 각 변수와 주성분 간 관계를 시각적으로 확인 가능.

---

3️⃣ 선형 판별 분석 (LDA: Linear Discriminant Analysis)

💡 개념

PCA가 비지도학습(클래스 정보 없음) 이라면,
LDA는 지도학습 기반 차원 축소 기법이다.

목표:
클래스 간 분산(분리도)을 극대화하고,
클래스 내 분산을 최소화하는 축을 찾는다.

• $S_B$: 클래스 간 분산 행렬
• $S_W$: 클래스 내 분산 행렬

---

⚙️ 비교

항목	PCA	LDA
지도 여부	비지도	지도
목표	분산 최대화	클래스 분리 최대화
출력 축	데이터 방향	클래스 구분 방향
적용 시점	피처 추출	분류 전 단계

---

🧪 Python 실습

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis as LDA

lda = LDA(n_components=2)
X_lda = lda.fit_transform(X_scaled, y)

plt.scatter(X_lda[:,0], X_lda[:,1], c=y, cmap='rainbow')
plt.title('LDA Projection')
plt.show()

결과:
클래스 간 경계가 명확하게 구분된 2차원 평면이 생성된다.

---

🧪 R 실습

library(MASS)
lda_model = lda(Class ~ ., data = dataset)
lda_pred = predict(lda_model, dataset)
plot(lda_pred$x, col=dataset$Class)

💡 R의 lda()는 시각화까지 자동 처리.
각 클래스가 얼마나 잘 분리되는지 직관적으로 확인 가능.

---

4️⃣ 커널 PCA (Kernel Principal Component Analysis)

💡 개념

PCA는 선형 데이터에만 유효하지만,
Kernel PCA 는 비선형 데이터 구조도 반영할 수 있다.

핵심 아이디어:
데이터를 고차원 공간으로 매핑 후,
그 공간에서 선형 PCA 수행.

---

⚙️ 커널 함수

커널	수식	특징
Linear	$K(x_i, x_j) = x_i \cdot x_j$	일반 PCA
Polynomial	$(x_i \cdot x_j + 1)^d$	곡선 관계 표현
RBF (Gaussian)	( e^{-\gamma

---

🧪 Python 실습

from sklearn.decomposition import KernelPCA

kpca = KernelPCA(n_components=2, kernel='rbf')
X_kpca = kpca.fit_transform(X_scaled)

plt.scatter(X_kpca[:,0], X_kpca[:,1], c=y, cmap='rainbow')
plt.title('Kernel PCA (RBF)')
plt.show()

💡 RBF 커널은 비선형 경계를 자연스럽게 표현해
“곡선형 분리”가 필요한 데이터에서 강력한 효과를 낸다.

---

🧪 R 실습

library(kernlab)
kpca_model = kpca(~., data=dataset, kernel="rbfdot", features=2)
pcv = rotated(kpca_model)
plot(pcv[,1], pcv[,2], col=dataset$Class)

---

5️⃣ 세 기법 비교 요약

구분	PCA	LDA	Kernel PCA
지도/비지도	비지도	지도	비지도
적용 대상	선형 데이터	분류 데이터	비선형 데이터
목적	분산 최대화	클래스 분리	비선형 패턴 학습
커널 사용	✗	✗	✓
결과 해석	직교 주성분	분리 축	매핑된 공간 축

---

6️⃣ 활용 사례

분야	적용 예시
데이터 시각화	고차원 데이터의 2D 표현
이미지 압축	픽셀 차원 축소
이상 탐지	노이즈 제거, 이상치 검출
분류 사전처리	차원 축소 후 SVM, KNN, ANN 적용

---

7️⃣ Python 통합 템플릿

from sklearn.decomposition import PCA, KernelPCA
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis as LDA

# 1. PCA
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_scaled)

# 2. LDA
lda = LDA(n_components=2)
X_lda = lda.fit_transform(X_scaled, y)

# 3. Kernel PCA
kpca = KernelPCA(n_components=2, kernel='rbf')
X_kpca = kpca.fit_transform(X_scaled)

---

8️⃣ 결론

차원 축소는 복잡한 데이터를 단순화하여
모델 효율성·시각화·일반화 성능을 향상시키는 핵심 전처리 단계다.

📘 핵심 요약

기법	핵심 개념	장점	단점
PCA	분산 극대화 축 찾기	단순, 빠름	클래스 정보 미사용
LDA	클래스 간 분리 극대화	분류 정확도 향상	비선형 데이터에 약함
Kernel PCA	커널 기반 비선형 축소	복잡한 패턴 표현	계산량 큼