통계모델, 머신러닝, 딥러닝 차이 (by ChatGPT)

통계 모델:

유형: 통계 모델은 데이터 유형과 해결하려는 문제에 따라 여러 유형으로 분류될 수 있습니다.

선형 모델: 변수 간의 선형 관계를 캡처합니다(예: 선형 회귀).
일반화 선형 모델: 선형 모델을 확장하여 비선형 관계 및 다양한 데이터 분포(예: 로지스틱 회귀)를 처리합니다.
시계열 모델: 시간에 따라 변하고 시간적 종속성을 통합하는 모델 데이터(예: ARIMA, GARCH 모델).
베이지안 모델: 베이지안 추론을 사용하여 사전 지식과 불확실성을 모델에 통합합니다(예: 베이지안 선형 회귀, 베이지안 계층 모델).

예측(최적화) 방법의 유형: 통계적 모델은 종종 다양한 최적화 방법을 사용하여 매개변수를 추정합니다.

MLE(Maximum Likelihood Estimation): 모델 매개변수가 주어진 데이터를 관찰할 가능성을 최대화합니다.
적률 방법: 모델의 적률(예: 평균, 분산)을 관찰된 데이터의 적률과 일치시킵니다.
Generalized Method of Moments(GMM): 도구 변수 접근 방식을 사용하여 모집단 모멘트를 샘플 모멘트와 일치시킵니다.
베이지안 추론: 관찰된 데이터를 기반으로 매개변수에 대한 이전 신념을 업데이트하기 위해 베이즈 정리를 사용하며 종종 MCMC(Markov chain Monte Carlo) 또는 변이 추론과 같은 기술에 의존합니다.

기계 학습:

유형: 기계 학습 알고리즘은 학습 방식에 따라 크게 두 가지 주요 유형으로 분류할 수 있습니다.

감독 학습: 모델은 레이블이 지정된 예제에서 학습하여 입력을 원하는 출력에 매핑합니다.

분류: 이산 클래스 레이블(예: 결정 트리, 지원 벡터 머신)을 예측합니다.
회귀: 연속적인 수치 값을 예측합니다(예: 선형 회귀, 랜덤 포레스트).

비지도 학습: 모델은 기본 패턴이나 구조를 발견하는 것을 목표로 레이블이 지정되지 않은 데이터에서 학습합니다.

클러스터링: 데이터에서 그룹 또는 클러스터를 식별합니다(예: k-평균 클러스터링, 계층적 클러스터링).
차원 축소: 중요한 정보(예: 주성분 분석, t-SNE)를 보존하면서 데이터의 차원을 축소합니다.

예측 유형(최적화) 방법: 기계 학습 알고리즘은 일반적으로 예측 성능을 향상시키기 위해 손실 또는 목적 함수를 최적화하는 것을 포함합니다.

Gradient Descent: 손실 함수의 가장 가파른 강하 방향으로 모델 매개변수를 반복적으로 업데이트합니다.
SGD(Stochastic Gradient Descent): 훈련 데이터의 무작위로 선택된 하위 집합(미니 배치)에 대한 업데이트를 수행합니다.
Adam Optimization: Momentum과 RMSprop의 아이디어를 결합하여 효율적인 최적화를 달성하는 Adaptive Moment Estimation.
유전 알고리즘: 자연 선택 과정에서 영감을 받아 돌연변이, 교차 및 선택을 사용하여 모델을 최적화합니다.

딥 러닝:

유형: 딥 러닝 모델은 여러 계층의 심층 신경망을 활용하는 기계 학습 모델의 하위 집합입니다.

CNN(Convolutional Neural Networks): 이미지 인식 및 컴퓨터 비전 작업에 주로 사용됩니다.
RNN(Recurrent Neural Networks): 순차적 데이터 및 시간적 종속성을 포함하는 작업(예: 자연어 처리, 음성 인식)에 효과적입니다.
변환기 모델: 특히 기계 번역 및 텍스트 생성과 같은 작업에서 자연어 처리에 탁월합니다.

예측 유형(최적화) 방법: 딥 러닝 모델은 신경망 매개변수를 훈련하기 위해 최적화 방법을 사용합니다.

SGD(Stochastic Gradient Descent): 심층 신경망 훈련에 널리 사용되며 미니 배치에서 계산된 기울기에 따라 매개변수를 업데이트합니다.
적응형 옵티마이저(예: Adam, RMSprop): 과거 그래디언트를 기반으로 학습 속도를 조정하는 SGD 수정으로, 종종 더 빠른 수렴과 더 나은 최적화 성능을 달성합니다.
역전파(Backpropagation): 깊은 곳에서 그래디언트를 계산하기 위한 핵심 알고리즘