머신러닝 강의 - 강의 개요

핵심 요약

1️⃣ 왜 Machine Learning을 배워야 할까?

이유	핵심 내용
구직·경력 기회	ML·AI 인재는 현재·미래 모두 높은 수요. 실력만 있으면 대기업·스타트업 등 좋은 일자리 확보 가능. (예: AI Research Engineer, Data Analyst)
시장 경쟁력	데이터를 통해 새로운 패턴을 발견 → 제품·서비스 차별화·매출 상승. 예: 월마트‑맥주·기저귀 연관 판매, 넷플릭스·아마존·유튜브 등 추천 시스템
사회·공익	의료 진단, 환경·기후 모니터링, 밀렵 방지 등 다양한 사회 문제 해결에 기여

---

2️⃣ 왜 Tabular (정형) 데이터에 집중해야 할까?

• 범용성 – 기업·기관·정부가 일상적으로 기록하는 데이터가 대부분 표 형태(행·열).
• 핵심 도구 – 정형 데이터를 효과적으로 다루는 것이 머신러닝 활용의 기초.
• 비정형 대비 – 이미지·음성·텍스트(딥러닝)도 중요하지만, 대부분의 비즈니스·연구 현장은 아직도 정형 데이터를 기반으로 의사결정을 함.

---

3️⃣ 머신러닝 프로세스 (강의 흐름)

1. 데이터 수집

   • 문제 정의 → 필요한 변수·시계열·재무·거래 데이터 등 확보.

2. 데이터 전처리

   • EDA (Exploratory Data Analysis) → 이상치·결측치·스키마 파악
   • 핵심 처리
     • 결측치 → 삭제 / 평균·중앙값·특수값 대체
     • 이상치 → 제거 / 변환 (log, Winsorizing)
     • 범주형 → Label Encoding, One‑Hot, Target Encoding 등
   • 파생변수(Feature Engineering)
     • 단일 변수 변환 (log, sqrt, binning)
     • 변수 간 관계 활용 (비율, 차이, 교호작용)
   • 변수 선택(Feature Selection)
     • Filter (상관계수, χ²)
     • Wrapper (RFE, 순차 전진/후진)
     • Embedded (Lasso, Tree‑based 중요도)
     • 실전 기법 – Permutation Importance, Adversarial Validation, Null Importance

3. 모델 선택

   • Task에 따라 Classification / Regression 구분
   • Linear vs Non‑Linear (Tree, KNN 등)
   • 대표 알고리즘
     • Linear Regression, Logistic Regression
     • Decision Tree, Random Forest
     • Gradient Boosting → XGBoost, LightGBM, CatBoost (대회·실무에서 인기)
   • 하이퍼파라미터 튜닝 – Grid Search, Random Search, Bayesian Optimization 등

4. 학습·평가

   • 데이터 분할 – Hold‑Out, K‑Fold, Stratified K‑Fold 등
   • 성능 지표 – 정확도, AUC, RMSE, MAE 등 목적에 맞는 지표 선택
   • 오버피팅 방지 – 검증 셋·교차 검증·early stopping 등
   • 모델 해석 – SHAP, LIME 등으로 예측 근거 파악

5. 배포

   • 모델을 서비스(예: API, 배치 스크립트)화 → 실제 비즈니스 프로세스에 적용
   • 모니터링 – 실시간 성능/드리프트 감시, 재학습 트리거 설계

유동적인 프로세스 : 전처리‑모델‑학습‑평가 단계는 반복·피드백 루프를 통해 순환한다. 필요에 따라 순서를 바꾸어도 무방.

---

4️⃣ 이번 강의의 차별점

특징	내용
전 과정 체계화	데이터 → 전처리 → 모델링 → 평가 → 배포까지 흐름을 일관되게 설명
실전 예시·코드	Kaggle·산업 현장 사례와 파이썬 구현 (pandas, scikit‑learn, LightGBM 등)
파이프라인 구축 능력	전처리 → 피처 엔지니어링 → 모델링 → 검증을 자동화하는 코드베이스 제공

---

5️⃣ 다음 강의 예고

• 데이터 전처리 집중
  • EDA 기법, 결측·이상치 처리, 범주형 인코딩, 파생변수 생성 실습
• 실전 프로젝트 (예: 주가 예측, 고객 이탈 분석 등)
  • 디버깅, 시드 고정, 실험 기록, 앙상블·스태킹 등 고급 기법 소개

---

한 줄 요약

Tabular 데이터에 특화된 머신러닝 프로세스를 이해·실습함으로써, 구직·경쟁력·사회공헌이라는 3대 가치를 실제 비즈니스/프로젝트에 바로 적용할 수 있다.