1. 모델 대분류 (Machine Learning / Deep Learning / Time Series)
1) 머신러닝 모델 (Machine Learning)
통계적·수학적 규칙을 기반으로 예측하는 모델들.
예시
-
선형/로지스틱 회귀
-
결정트리 / 랜덤포레스트
-
Gradient Boosting (XGBoost, LightGBM, CatBoost)
-
SVM
-
KNN
-
Naive Bayes
-
클러스터링(K-Means, GMM)
-
이상탐지(Isolation Forest, One-Class SVM)
특징
-
구조 단순, 해석력 높음
-
tabular 데이터에서 강력
-
대규모 데이터에서는 성능 한계
-
feature engineering의 영향이 큼
2) 딥러닝 모델 (Deep Learning)
신경망 기반으로 이미지, 텍스트, 시계열 등 비정형 데이터에서 성능이 높은 모델들.
예시
-
MLP
-
CNN (ResNet, VGG 등)
-
RNN/LSTM/GRU
-
Transformer (BERT, GPT, ViT 등)
-
Autoencoder
-
GAN
-
Neural CF
특징
-
복잡한 비선형 패턴 학습
-
GPU 사용
-
대규모 데이터에서 성능 상승
-
고차원 입력에 강함
3) 시계열 모델 (Time Series Models)
시간 흐름의 패턴을 사용해 미래를 예측하는 모델들.
예시
-
AR / MA / ARMA
-
ARIMA
-
SARIMA / SARIMAX
-
Holt-Winters
-
Prophet
-
HMM
-
LSTM, Transformer 기반 시계열 모델
특징
-
시계열 전용 구조
-
통계 모델은 가볍고 해석력 높음
-
딥러닝은 장기 패턴 모델링에 강함
2. 각 모델별 predict 내부 동작
1) 머신러닝 모델 (Machine Learning)
공통 특징
-
X 입력을 기반으로 고정 규칙(트리, 선형식 등) 계산
-
예측 구조 단순, 빠름
-
해석력 높음
결정트리
-
특징값 기준으로 분기
-
리프 노드의 클래스/평균값 반환
랜덤포레스트
-
여러 트리의 예측을 결합
-
분류: 다수결
-
회귀: 평균
Gradient Boosting (XGBoost, LightGBM, CatBoost)
-
트리들의 예측을 합산
-
분류: sigmoid/softmax
-
회귀: 합산값 그대로
KNN
-
모든 샘플과 거리 계산
-
가장 가까운 k개 선택해 출력
로지스틱 회귀
z = w·x + b
sigmoid(z)로 확률 계산
SVM
- 결정 경계의 어느 쪽에 위치하는지로 분류
나이브 베이즈
-
P(x|y) * P(y) 계산
-
가장 높은 확률의 클래스 선택
K-Means
- 가장 가까운 centroid 선택
GMM
-
각 가우시안 컴포넌트 확률 계산
-
최대 확률 컴포넌트 선택
Isolation Forest
- 고립되는 속도 기반 anomaly 판정
One-Class SVM
- boundary 내부/외부로 정상/이상 여부 판단
2) 딥러닝 모델 (Deep Learning)
공통 특징
-
layer stack forward pass
-
weight * input + activation 반복
-
이미지, 텍스트, 시계열 모두 처리 가능
MLP
-
Dense layer 반복
-
마지막 layer
-
분류: softmax/sigmoid
-
회귀: linear
-
CNN
-
convolution → pooling 반복
-
마지막 FC로 분류
RNN / LSTM / GRU
-
입력 시퀀스를 시간 순서대로 처리
-
hidden state 누적
-
마지막 hidden에서 출력
Transformer (BERT, GPT, ViT)
-
self-attention 기반
-
multi-head attention → feedforward
-
마지막 hidden을 softmax 또는 linear로 사용
Vision Transformer (ViT)
-
이미지를 patch로 분리
-
patch embedding → transformer encoder
-
CLS 토큰 기반 분류
Autoencoder
-
입력 복원
-
reconstruction error로 이상 탐지
GAN
-
noise → generator
-
예측 모델이 아니라 생성 모델
3) 시계열 모델 (Time Series)
공통 특징
-
일반적인 X_test 구조 없이 과거 y를 기반으로 예측
-
다음 시점 예측을 반복해 multi-step 생성
AR
yt = c + φ1 y{t-1} + ...
MA
yt = c + θ1 ε{t-1} + ...
ARMA
AR + MA 조합
ARIMA
1) 차분
2) ARMA 예측
3) 역차분
SARIMA
- 계절성 포함 ARIMA
SARIMAX
- 외생변수(X)를 포함
Holt-Winters
- Level + Trend + Seasonality
Prophet
- Trend + Seasonality + Holiday의 합
HMM
- 상태 전이 확률 기반 state 예측
3. 실무에서 모델을 갈아끼우는 기준
1) 데이터 형태 기준
Tabular
-
기본: LightGBM / XGBoost
-
범주형 많으면: CatBoost
-
설명력 필요: Logistic / Tree
이미지
-
기본: CNN
-
고성능: ViT
-
경량: EfficientNet-lite
텍스트
-
기본: Transformer
-
데이터 적으면: Logistic + TF-IDF
시계열
-
안정성: ARIMA / Prophet
-
장기 패턴: LSTM / Transformer
-
실전 조합: LSTM + XGBoost
2) 문제 유형 기준
분류
-
baseline: Logistic
-
고성능: XGBoost/LGBM
-
비정형: CNN/RNN/Transformer
회귀
-
baseline: Linear
-
고성능: XGBoost
-
시계열: LSTM / Transformer
이상탐지
-
Isolation Forest
-
Autoencoder
-
LSTM Autoencoder
추천
-
ALS
-
Neural CF
-
Embedding + ANN 검색
3) 운영 조건 기준
설명 가능성 필요
- Logistic / Tree / ARIMA
정확도 최우선
- XGBoost / LightGBM / Transformer
실시간 요구
- Logistic / 작은 CNN / 작은 GRU
연산 제약
- LightGBM / MobileNet
4) 실무에서 자주 발생하는 모델 교체 패턴
-
LightGBM 한계 → CatBoost로 교체
-
CNN 성능 한계 → ViT로 교체
-
ARIMA 한계 → LSTM 추가한 hybrid
-
SVM 연산 과다 → Logistic/XGB로 교체
-
선형 회귀 성능 부족 → XGBoost로 교체
