📊 데이터 분석 방법론: CRISP-DM

1. 데이터 관련 주요 개념

데이터를 다루는 분야는 크게 세 가지로 나눌 수 있으며, 각 역할과 목표가 다릅니다.

분야	설명	주요 활동
Data Engineering	분석 가능한 형태의 데이터 인프라를 구축하고 운영	데이터 수집·처리·저장, 보안, 파이프라인 구축
Data Analytics	기존 데이터를 통계적으로 분석하여 인사이트 도출	데이터 처리, 구성, 결과 단순화 및 시각화
Data Science	방대한 데이터에서 통찰력을 찾고 미래를 예측	머신러닝/딥러닝 모델링, 예측, 질문(Question) 발굴

Data Mining (데이터 마이닝)

• 정의: 대규모 데이터에서 숨겨진 패턴과 관계를 찾아내어 실용적인 지식으로 변환하는 과정.
• 중요성: 기업의 전략적 의사결정, 운영 효율성 향상, 새로운 비즈니스 기회 창출에 기여.

---

2. CRISP-DM 개요

CRISP-DM (CRoss Industry Standard Process for Data Mining)은 데이터 마이닝 및 데이터 과학 프로젝트를 위해 가장 널리 사용되는 표준 프로세스 모델입니다.

• 특징:
  • 산업 표준 방법론 (가장 보편적으로 사용됨).
  • 6단계의 프로세스로 구성되며, 각 단계는 유기적이고 반복적(Iterative)으로 연결됩니다.
  • 폭포수(Waterfall) 모델과 유사하지만, 단계 간의 피드백 루프(Feedback Loop)가 있어 이전 단계로 돌아가 수정하는 것이 자유롭습니다.

🔄 프로세스 라이프사이클 (6 Phases)

1. Business Understanding (비즈니스 이해)
2. Data Understanding (데이터 이해)
3. Data Preparation (데이터 준비)
4. Modeling (모델링)
5. Evaluation (평가)
6. Deployment (배포)

---

3. CRISP-DM 세부 단계

Phase 1: Business Understanding (비즈니스 이해)

프로젝트의 기초를 다지는 가장 중요한 단계로, 사업 관점에서 목표를 설정합니다.

• 주요 태스크:
  • 비즈니스 목표 설정: 고객 이탈 방지, 교차 판매(Cross-selling) 증대 등.
  • 상황 평가: 자원, 요구사항, 위험 요소, 비용/혜택 분석.
  • 데이터 마이닝 목표 설정: 비즈니스 목표를 기술적 목표로 변환 (예: 이탈률 10% 감소 → 이탈 예측 모델 정확도 85% 달성).
  • 프로젝트 계획 수립: 단계별 일정 및 도구 선정.
• E-소매업 예시: 경쟁 심화로 인한 수익성 유지를 위해 '기존 고객 관계 강화'를 비즈니스 목표로 설정.

Phase 2: Data Understanding (데이터 이해)

데이터를 수집하고 초기 탐색을 통해 데이터와 친숙해지는 단계입니다.

• 주요 태스크:
  • 초기 데이터 수집: 사내 데이터(로그, 거래 내역) 및 외부 데이터 확보.
  • 데이터 기술(Describe): 데이터의 양, 형식, 속성 파악.
  • 데이터 탐색(Explore): 시각화, 기초 통계량을 통해 가설 수립 및 패턴 발견.
  • 데이터 품질 검증: 결측치, 오류, 불일치 데이터 확인.

Phase 3: Data Preparation (데이터 준비)

모델링을 위해 데이터를 가공하는 단계로, 전체 프로젝트 시간의 50~80%가 소요되는 가장 고된 작업입니다.

• 주요 태스크:
  • 데이터 선택: 분석에 필요한 데이터(행/열)만 선별.
  • 데이터 정제(Cleaning): 결측치 처리, 노이즈 제거, 오류 수정.
  • 데이터 구축(Construct): 파생 변수 생성 (예: 키, 몸무게 → BMI).
  • 데이터 통합(Integrate): 여러 데이터 소스(테이블) 병합.
  • 데이터 포맷팅: 모델링 도구에 맞는 형식으로 변환.

Phase 4: Modeling (모델링)

다양한 기법을 적용하여 모델을 구축하고 최적화하는 단계입니다. 데이터 준비 단계와 빈번하게 상호작용합니다.

• 주요 태스크:
  • 기법 선택: 문제 유형(분류, 회귀, 군집 등)에 맞는 알고리즘 선택.
  • 테스트 설계: 학습(Train) 데이터와 검증(Test) 데이터 분할.
  • 모델 작성: 파라미터 튜닝 및 모델 생성.
  • 모델 평가(기술적): 모델의 정확도, 오차율 등을 기술적으로 검증.

Phase 5: Evaluation (평가)

모델이 기술적으로 우수하더라도 비즈니스 목적을 달성할 수 있는지 최종 확인하는 단계입니다.

• 주요 태스크:
  • 결과 평가: 모델이 비즈니스 성공 기준(예: ROI, 비용 절감)을 충족하는지 확인.
  • 프로세스 검토: 누락된 요소나 실수가 없는지 전체 과정 재점검.
  • 다음 단계 결정: 배포할 것인지, 프로젝트를 반복(수정)할 것인지 결정.

Phase 6: Deployment (배포)

완성된 모델을 실제 현업(고객)이 사용할 수 있도록 적용하는 단계입니다.

• 주요 태스크:
  • 배포 계획: 모델을 시스템에 통합하거나 리포트 형태로 전달.
  • 모니터링 및 유지보수 계획: 모델 성능 저하 감지 및 재학습 계획 수립.
  • 최종 보고서 작성: 프로젝트 성과 및 문서화.
  • 프로젝트 회고: 교훈 및 개선점 도출.

---

4. CRISP-DM의 평가 (장단점)

✅ 장점 (Strengths)

• 상식적이고 직관적: 데이터 과학자가 자연스럽게 수행하는 작업 흐름과 일치함.
• 유연성: 반복적인(Iterative) 특성을 지원하여, 경험적 지식을 다음 사이클에 반영 가능.
• 비즈니스 중심: 초기 단계부터 비즈니스 목표를 강조하여 기술적 함정에 빠지는 것을 방지.
• 범용성: 특정 산업이나 도구에 종속되지 않음.

⚠️ 단점 및 한계 (Weaknesses)

• 팀 협업 도구 부재: 프로젝트 관리(PM) 방법론이라기보다 개인이나 소규모 팀의 작업 흐름에 가까움 (협업, 의사소통 기능 부족).
• 문서화 부담: 각 단계마다 방대한 문서화를 요구하여 애자일(Agile) 환경에서 속도를 저하시킬 수 있음.
• 운영 단계 미흡: 1999년에 만들어져 현대의 MLOps(지속적 운영 및 배포) 개념이 부족함.
• 느린 시작: 워터폴 방식과 유사하게 초기 단계(비즈니스/데이터 이해)에 시간을 많이 써서 결과물 확인이 늦어질 수 있음.

💡 개선 방향 (Action Item)

• Agile/Scrum과 결합: CRISP-DM의 단계를 유지하되, 스크럼(Scrum)이나 칸반(Kanban)을 도입하여 팀 협업과 우선순위 관리를 보완.
• 역할 정의: 이해관계자, PO(Product Owner), 데이터 과학자 등 팀 역할을 명확히 정의.
• 빠른 반복: 완벽한 모델을 만들기보다, 빠르게 반복(Iteration)하여 작은 가치를 지속적으로 전달.