[ML] 머신 러닝 주요 개념

머신러닝을 공부하면서 기본 개념들이 정리가 안돼서 Chat GPT 의 도움을 받아 기본 개념들을 정리했다.

💻 머신 러닝의 주요 개념에 대해 간략하게 설명드리겠습니다:

• 지도 학습 (Supervised Learning): 지도 학습은 입력 데이터와 그에 대한 정답(레이블 또는 타겟 변수)이 있는 훈련 데이터를 사용하여 모델을 학습하는 방법입니다. 모델은 입력과 정답의 관계를 학습하여 새로운 입력에 대한 정답을 예측합니다. 예시로는 분류(classification)와 회귀(regression)가 있습니다.

• 비지도 학습 (Unsupervised Learning): 비지도 학습은 정답이 주어지지 않은 입력 데이터만을 사용하여 모델을 학습하는 방법입니다. 데이터의 구조, 패턴, 군집 등을 탐색하거나 압축, 차원 축소 등의 작업을 수행합니다. 예시로는 군집화(clustering)와 차원 축소(dimensionality reduction)가 있습니다.

• 강화 학습 (Reinforcement Learning): 강화 학습은 에이전트가 환경과 상호작용하며 보상과 패널티를 받으며 학습하는 방법입니다. 에이전트는 보상을 최대화하기 위한 정책(policy)을 학습하고, 시행착오를 통해 학습합니다. 예시로는 게임과 로봇 제어 등이 있습니다.

• 훈련 데이터와 테스트 데이터 (Training Data and Test Data): 모델을 평가하기 위해 데이터를 훈련 데이터와 테스트 데이터로 나눕니다. 훈련 데이터는 모델을 학습시키는 데 사용되고, 테스트 데이터는 학습된 모델의 성능을 평가하는 데 사용됩니다.

• 과적합과 일반화 (Overfitting and Generalization): 모델이 훈련 데이터에 너무 맞춰져 다른 데이터에 일반화되지 못하는 현상을 과적합이라고 합니다. 모델이 훈련 데이터와 새로운 데이터에 모두 잘 동작하는 능력을 일반화라고 합니다.

• 평가 지표 (Evaluation Metrics): 모델의 성능을 측정하기 위해 사용되는 평가 지표에는 정확도(accuracy), 정밀도(precision), 재현율(recall), F1 점수(F1 score) 등이 있습니다. 이러한 평가 지표를 사용하여 모델의 성능을 측정하고 비교합니다.

• 하이퍼파라미터 튜닝 (Hyperparameters Tuning): 모델의 성능을 향상시키기 위해 모델에 영향을 주는 하이퍼파라미터들의 최적 값을 찾는 과정입니다. 그리드 탐색(Grid Search)이나 랜덤 탐색(Random Search) 등의 방법을 사용하여 다양한 하이퍼파라미터 조합을 시도하고, 교차 검증을 통해 최상의 조합을 선택합니다.

• 앙상블 학습 (Ensemble Learning): 여러 개의 모델을 조합하여 예측을 수행하는 방법입니다. 앙상블 학습은 단일 모델보다 더 좋은 예측 성능을 제공하며, 다양한 앙상블 방법이 있습니다. 대표적인 앙상블 학습 알고리즘으로는 랜덤 포레스트(Random Forest)와 그래디언트 부스팅(Gradient Boosting)이 있습니다.

---

💻 주요 머신 러닝 알고리즘에는 다양한 유형이 있지만, 여기에는 일부 주요한 알고리즘들을 소개하겠습니다:

• 선형 회귀 (Linear Regression): 입력 변수와 출력 변수 간의 선형 관계를 모델링하는 알고리즘입니다. 예측값과 실제 값 사이의 오차를 최소화하는 회귀 선을 찾습니다.

• 로지스틱 회귀 (Logistic Regression): 이진 분류 문제에 주로 사용되는 알고리즘으로, 입력 변수의 선형 결합을 로지스틱 함수를 사용하여 0과 1 사이의 확률로 매핑합니다.

• 의사결정 트리 (Decision Trees): 데이터의 특성에 따라 분할 기준을 설정하여 트리 형태의 결정 경로를 생성하는 알고리즘입니다. 분류와 회귀 문제에 모두 사용될 수 있습니다.

• 랜덤 포레스트 (Random Forest): 여러 개의 의사결정 트리를 구성하여 예측을 수행하고, 결과를 앙상블하여 정확도를 향상시키는 알고리즘입니다.

• 서포트 벡터 머신 (Support Vector Machines, SVM): 데이터를 고차원 공간으로 매핑하여 클래스를 분리하는 초평면을 찾는 알고리즘입니다. 분류와 회귀 문제에 모두 사용될 수 있으며, 커널 함수를 사용하여 비선형 문제를 해결할 수도 있습니다.

• k-최근접 이웃 (k-Nearest Neighbors, kNN): 입력 데이터의 근접 이웃들을 기반으로 예측을 수행하는 알고리즘입니다. 분류와 회귀 문제에 모두 사용될 수 있습니다.

• 신경망 (Neural Networks): 생물학적 신경망에서 영감을 받은 알고리즘으로, 여러 층의 뉴런들로 구성된 네트워크를 사용하여 복잡한 패턴을 학습하는 데 사용됩니다. 딥 러닝의 기반이 되는 알고리즘입니다.

이 외에도 나이브 베이즈 (Naive Bayes), 클러스터링 알고리즘 (K-means, DBSCAN), 차원 축소 알고리즘 (PCA, t-SNE) 등 다양한 머신 러닝 알고리즘이 있습니다. 선택할 알고리즘은 데이터의 특성과 문제의 복잡성에 따라 다를 수 있으며, 알고리즘의 장단점을 고려하여 적절한 선택이 필요합니다.

---

💻 회귀(Regression)는 기계 학습에서 사용되는 중요한 개념 중 하나입니다.

회귀는 입력 변수와 출력 변수 간의 관계를 모델링하는 방법이며, 주로 연속적인 수치형 출력 변수를 예측하는 데 사용됩니다.

회귀는 데이터의 특징을 분석하여 입력 변수에 대한 출력 변수의 값을 예측하는 함수를 찾는 과정입니다. 이를 통해 입력 변수의 변화에 따른 출력 변수의 변화를 추론할 수 있습니다.

회귀 모델은 데이터에 적합한 수학적인 함수의 형태로 표현되며, 주로 선형 회귀(Linear Regression) 모델이 많이 사용됩니다. 선형 회귀는 입력 변수와 출력 변수 간의 선형 관계를 모델링하며, 최소제곱법을 사용하여 예측값과 실제값 사이의 오차를 최소화하는 회귀 선을 찾습니다.

또한, 비선형 회귀(Nonlinear Regression) 모델도 사용될 수 있으며, 다항식 회귀(Polynomial Regression), 로지스틱 회귀(Logistic Regression) 등이 이에 해당합니다.

회귀는 주로 연속적인 값을 예측하는 회귀 분석에 사용되지만, 분류 문제에서도 확률 값을 예측하는 로지스틱 회귀 등을 활용할 수 있습니다. 회귀는 다양한 분야에서 사용되며, 예측, 추론, 트렌드 분석, 인과관계 파악 등에 활용됩니다.

---

💻 로지스틱 회귀와 선형 회귀를 예시를 통해 설명하겠습니다.

• 선형 회귀 (Linear Regression):
  선형 회귀는 입력 변수와 출력 변수 간의 선형 관계를 모델링하는 회귀 분석 방법입니다. 예를 들어, 아파트의 크기(X)와 가격(Y) 간의 관계를 예측하는 경우를 생각해봅시다. 선형 회귀 모델은 입력 변수인 아파트의 크기(X)와 가격(Y) 사이의 선형 방정식을 구축합니다. 모델은 최소제곱법을 사용하여 입력 변수와 실제 가격 값 사이의 오차를 최소화하는 최적의 회귀 선을 찾습니다. 이를 통해 주어진 아파트 크기에 대한 가격을 예측할 수 있습니다.

• 로지스틱 회귀 (Logistic Regression):
  로지스틱 회귀는 이진 분류 문제에서 사용되며, 입력 변수와 이진 출력 변수(0 또는 1) 간의 관계를 모델링하는 회귀 분석 방법입니다. 예를 들어, 학생의 공부 시간(X)에 따라 시험 합격 여부(Y)를 예측하는 경우를 생각해봅시다. 로지스틱 회귀 모델은 입력 변수인 공부 시간(X)과 합격 여부(Y) 사이의 로지스틱 함수를 사용하여 예측을 수행합니다. 로지스틱 함수는 입력 변수를 0과 1 사이의 확률 값으로 변환하여 이진 분류를 수행합니다. 이를 통해 주어진 공부 시간에 따라 학생이 시험에 합격할 확률을 예측할 수 있습니다.

선형 회귀는 연속적인 출력 변수를 예측하는데 사용되고, 출력 값의 범위는 실수입니다. 반면에 로지스틱 회귀는 이진 분류 문제에서 확률 값을 예측하는데 사용되며, 출력 값의 범위는 0과 1 사이의 확률입니다.

---

💻머신러닝 알고리즘은 다양한 데이터 특성과 문제 유형에 따라 선택되어야 합니다. 아래 예시들은 일반적인 데이터 특성에 적합한 알고리즘을 설명합니다:

• 선형 회귀 (Linear Regression):
  데이터 특성: 연속적인 수치형 변수들 간의 선형 관계를 예측하는 경우에 적합합니다.
  예시: 주택 가격 예측, 매출량 예측 등

• 로지스틱 회귀 (Logistic Regression):
  데이터 특성: 이진 분류 문제에서 확률 값을 예측하는 경우에 적합합니다.
  예시: 이메일 스팸 분류, 질병 유무 예측 등

• 결정 트리 (Decision Tree):
  데이터 특성: 범주형 또는 수치형 변수들을 기반으로 특성을 분할하여 예측하는 경우에 적합합니다.
  예시: 고객 세분화, 의사 결정 분류 등

• 랜덤 포레스트 (Random Forest):
  데이터 특성: 다양한 변수들로 구성된 복잡한 데이터셋에 대해 예측하는 경우에 적합합니다. 특히, 과적합을 줄이고 안정적인 예측을 수행할 수 있습니다.
  예시: 이미지 분류, 보험 사기 탐지 등

• 서포트 벡터 머신 (Support Vector Machine, SVM):
  데이터 특성: 고차원 데이터에서 결정 경계를 찾아 분류하는 경우에 적합합니다. 주로 이진 분류에 사용되지만 다중 클래스 분류에도 적용할 수 있습니다.
  예시: 얼굴 인식, 텍스트 분류 등

• K-최근접 이웃 (k-Nearest Neighbors, kNN):
  데이터 특성: 데이터의 근접 이웃들을 기반으로 분류 또는 회귀를 수행하는 경우에 적합합니다.
  예시: 손글씨 숫자 인식, 사용자 성향 예측 등