① 🤖 Machine Learning 1일차 - 데이터 마이닝(개념, 프로세스, 분류)

1. 데이터 마이닝(Data Mining)이란?

목표

방대한 데이터에서 유의미한 패턴과 규칙을 발견하고, 발견된 규칙을 예측 및 의사결정에 활용하는 기술

주요 목적

단순히 데이터를 쌓아두는 것이 아니라, 숨겨진 규칙을 찾아내어 다음과 같은 가치를 창출

• 예측(Prediction)
  발견된 패턴을 기반으로 함수나 모델을 만들어 미래의 결과를 예측
  ex) 다음 달 매출액 예측, 고객 이탈 가능성 예측 등
  
• 설명(Description)
  데이터 속 규칙을 통해 현재의 현상을 이해하고 설명
  기업의 의사 결정이나 신제품 개발, 마케팅 전략 수립의 근거

2. 데이터 마이닝 vs 통계 분석

통계학이 이론적 가설 검증에 중점을 둔다면, 데이터 마이닝은 실제 데이터에서의 패턴 발견과 활용에 더 중점

구분	데이터 마이닝	통계 분석
목표	데이터 속 패턴/규칙 발견 → 예측/설명	표본 기반으로 모집단 추정/검정
접근	사전 가설 없이 데이터 자체에서 패턴을 찾음 (귀납적)(가설/검정 필수 아님)	가설 설정 후 이를 검증하는 과정 (연역적) 필수
데이터	전수 데이터(Big Data) 지향	표본(Sample) 데이터 필수
과정	인사이트 활용 중심	수집 → 정제 → 추정 → 검정

3. 데이터 마이닝 프로세스 (5단계)

• ① 목적 정의 (Problem Definition) : 분석 목표 설정
  해결하고자 하는 비즈니스 문제를 명확히 설정(무엇을 예측할 것인가?)
  
• ② 데이터 준비 (Data Preparation) : 수집, 품질 확보
  필요한 데이터를 수집하고, 데이터의 품질(결측치, 이상치 등)을 점검
  
• ③ 데이터 가공 (Data Preprocessing) : 분석 가능한 형태로 전처리
  분석 기법에 맞게 데이터 변환(정규화, 원-핫 인코딩 등)
  이 단계가 전체 과정의 70~80% 시간을 차지할 만큼 중요
  
• ④ 기법 적용 (Modeling) : 분석 알고리즘 적용
  목적에 맞는 알고리즘(회귀, 분류, 군집 등)을 선택하여 모델을 학습
  
• ⑤ 검증 (Evaluation) : 성능/결과 검증
  도출된 모델이 유의미한지 평가하고, 실제 업무에 적용(배포)

4. 머신러닝의 분류

데이터에 '정답(Label)'이 있느냐 없느냐가 가장 큰 기준

(1) 학습 방법 기준

1) 지도 학습 (Supervised Learning)

• 개념: 문제(Input)와 정답(Label/Target)이 모두 주어진 상태에서 학습하는 방법
• 특징: 반드시 정답지(종속변수 $Y$) 가 필요
  모델이 예측한 값과 실제 정답을 비교하며 오차를 줄여나간다.
• 주요 기법: 회귀 (Regression) 숫자를 예측 (예: 아파트 가격 예측)
  분류 (Classification) 카테고리를 예측 (예: 스팸 메일 분류)
  

2) 비지도 학습 (Unsupervised Learning)

• 개념: 정답(Label) 없이 입력 데이터(Input)만으로 데이터의 숨겨진 구조나 패턴을 스스로 학습
• 특징: 종속변수($Y$)가 없다.
  데이터의 특성(Feature)이 비슷한 것끼리 묶거나 구조를 파악하는 데 사용
• 주요 기법: 군집화 (Clustering) 비슷한 데이터끼리 그룹핑
  연관 분석 (Association) 아이템 간의 관계 파악
  차원 축소 (Dimensionality Reduction) 데이터의 복잡도를 줄여 시각

(2) 분석 목적에 따른 세부 기법

1) 분류 (Classification)

• 소속: 지도 학습
• 목적: 새로운 데이터가 어떤 그룹(클래스)에 속하는지 판별
• 알고리즘: 로지스틱 회귀, 의사결정나무(Decision Tree), SVM, 나이브 베이즈 등
• Ex) 이 고객이 대출을 갚을까(O) 못 갚을까(X)?
  어느 그룹에 속하는지를 예측
  지도학습
  예: 로지스틱 회귀, 결정트리

2) 군집 (Clustering)

• 소속: 비지도 학습
• 목적: 데이터 간의 유사성을 측정하여 같은 성향의 그룹으로 묶음
• 알고리즘: K-Means, 계층적 군집(Hierarchical), DBSCAN 등
• Ex) 뉴스 기사를 주제별로 그룹핑하기, 고객 세분화(Segmentation)

3) 연관 분석 (Association Analysis)

• 소속: 비지도 학습
• 목적: 데이터(상품) 간의 동시 발생 확률이나 연관성 파악
• 특징: '장바구니 분석'이라고도 불림.
• 활용: 교차 판매(Cross-selling), 물건 진열 배치 등에 활용
• Ex) "맥주를 사는 사람은 기저귀도 같이 사더라" (월마트 사례)

---

요약

• 데이터 마이닝은 데이터에서 패턴을 찾아 예측/설명하는 과정이다.
  지도 학습은 정답(Label)이 있고, 비지도 학습은 정답이 없다.
  목적에 따라 분류(예측), 군집(그룹핑), 연관(관계 파악) 등의 기법을 적절히 사용해야 한다.