📊 데이터 분석 및 머신러닝

---

🧹 1. 데이터 전처리 (Data Preprocessing)

🔹 판다스 기본 전처리

• melt / stack / unstack
• map / apply / transform
• quantile / cut / qcut
• groupby size vs count
• pdist / cdist
• Pearson / Spearman / Kendall

🔹 데이터 불균형 처리

• Over-Sampling (SMOTE)
• Over-Sampling (ADASYN)

🔹 결측값 처리 (IMPUTATION)

• Single Imputation
  • Interpolation (보간법)
• MICE Imputation
• KNN Imputation
• MissForest
  https://hodustat.tistory.com/43
  

🔹 변수 변환

• min-max
• Box-Cox

---

🔍 2. 데이터 추출 (Data Extraction)

• 잠재요소 추출 (Latent Factor Extraction)
• 거리 기반 유사 요소 추출
• MultiDimensional Scaling (MDS)
• Principal Component Analysis (PCA)
• Linear Discriminant Analysis (LDA)
• SVD

---

📈 3. 통계

3.1 점 추정

• 표본의 정보로부터 모집단의 모수를 하나의 값으로 추정하는 기법
• 점추정 조건: unbiasedness / efficiency / consistency / sufficiency
• 점추정량 구하는 법
  • 적률법: 표본의 기댓값을 통해 모수를 추정
  • 최대 가능도 추정법: MLE 함수를 미분해서 기울기가 0인 모수를 추정
  • 최소제곱법: 함수값과 측정값의 차이인 오차를 제곱한 합이 최소가 되는 함수로 추정

3.2 구간 추정

구분	추정 대상 (모수)	기호	주로 사용하는 분포
단일 모집단	모평균	$\mu$	$Z$-분포, $t$-분포
	모비율	$p$	$Z$-분포
	모분산	$\sigma^2$	카이제곱분포 ($\chi^2$)
두 모집단	모평균 차이 (독립표본)	$\mu_1 - \mu_2$	$Z$-분포, $t$-분포
	모평균 차이 (대응표본)	$\mu_d$	$t$-분포
	모비율 차이	$p_1 - p_2$	$Z$-분포
	모분산 비	$\sigma_1^2 / \sigma_2^2$	$F$-분포

3.3 가설 검정

검정명	검정 목적	정규성 필요	분산 가정	표본 관계	귀무가설 ($H_0$)	분포
Z-검정	평균 비교	O (또는 $n \ge 30$)	모분산($\sigma^2$) 공지	단일 표본	$\mu = \mu_0$	$Z$
단일 표본 비율 Z-검정	비율 비교	근사 정규	정규 근사 ($np \ge 5$)	단일 표본	$p = p_0$	$Z$
독립 비율 Z-검정	비율 비교	근사 정규	정규 근사 ($np \ge 5$)	독립 표본	$p_1 = p_2$	$Z$
단일 표본 t-검정	평균 비교	O	모분산 모름	단일 표본	$\mu = \mu_0$	$t(n-1)$
독립 t-검정	평균 비교	O	등분산	독립 표본	$\mu_1 = \mu_2$	$t(n_1+n_2-2)$
Welch t-검정	평균 비교	O	비등분산	독립 표본	$\mu_1 = \mu_2$	$t(v)^*$
$\chi^2$ 검정	범주형 빈도 분석	X (범주형)	기대빈도 $\ge 5$	단일/독립 표본	관측빈도 = 기대빈도	$\chi^2(df)$
ANOVA	평균 비교 (3+)	O	등분산	독립 표본 (3+)	$\mu_1 = \dots = \mu_k$	$F(k-1, N-k)$
Mann-Whitney	평균 비교	X (비모수)	필요 없음	독립 표본	두 집단 분포 동일	$U$ (또는 $Z$)
Paired t-검정	전/후 비교	O (차이값)	차이값 사용	대응 표본	$\mu_{diff} = 0$	$t(n-1)$
Wilcoxon	전/후 비교	X (비모수)	필요 없음	대응 표본	중앙값 차이 = $0$	$W$ (또는 $Z$)
Shapiro–Wilk	정규성 확인	-	-	단일 표본	데이터가 정규분포를 따름	$W$
K-S Test	분포 적합도	-	-	단일/두 표본	특정 분포를 따름	$D$
Bartlett Test	등분산성 확인	O (민감)	-	두 집단 이상	$\sigma_1^2 = \dots = \sigma_k^2$	$\chi^2(k-1)$
Levene Test	등분산성 확인	X (강건)	-	두 집단 이상	$\sigma_1^2 = \dots = \sigma_k^2$	$F(k-1, N-k)$

• 단일 표본: 하나의 표본 (보통 모집단 또는 전체 그룹의 모수와 비교)
• 독립 표본: 독립적인 두 표본(집단) 이상

3.3 변수 조합에 따른 검정

• 검정 방법

---

🎯 4. 지도학습 (Supervised Learning)

• XGBoost
• Multilayer Perceptron (MLP)
• SVM (Support Vector Machine)
• Logistic Regression
• Ensemble – Voting
• OLS (Ordinary Least Squares)
• Ridge / Lasso / ElasticNet — OLS의 높은 분산을 제어하기 위해 계수에 수축(Shrinkage) 규제를 가하여 일반화 성능을 높인 모델
• Decision Tree

---

🌀 5. 비지도학습 (Unsupervised Learning)

• K-Means Clustering
• Hierarchical Clustering — K-Means보다 복잡하고 유연한 동작
  • Agglomerative Clustering (Bottom-up)
  • Divisive Clustering (Top-down)
• DBSCAN — LOF와 달리 Global한 Density로, 하나의 기준($\epsilon$)을 데이터 전체에 동일하게 적용
• Gaussian Mixture Model (GMM)
• t-SNE

---

🕵️ 6. 이상치 탐지 (Anomaly Detection)

1. 밀도 기반
   • Local Outlier Factor (LOF)
2. 모델 기반
   • Isolation Forest
   • One-Class SVM
3. 재구축 오차 기반 (추가 예정)
4. GAN 기반 (추가 예정)

---

⚙️ 7. 기계학습 알고리즘 (ML Algorithms)

• Grid Search
• Loss Functions (손실 함수)
  • Cross-Entropy
  • MSE / MAE
• Gradient Descent
• Back-Propagation

---

🧪 8. 모델 검증 및 성능 측정 (Validation & Metrics)

• Stratified K-Fold

📉 Regression

• R² / Adjusted R²
• VIF (Variance Inflation Factor)
• AIC (Akaike Information Criterion)
• ANOVA with OLS
• 회귀계수분석

🎯 Classification

• Recall, Precision, ROC-AUC
• Average Recall
• MAP@K

🌀 Clustering

• Dunn Index
• Silhouette Score