[Data Analysis] CRISP-DM

01. 데이터 관련 직무 구분 (Roles)

데이터 직무 구분

데이터를 다루는 세 가지 핵심 직무의 차이점

---

02. CRISP-DM 방법론

CRoss Industry Standard Process for Data Mining
데이터 마이닝 전문가들이 사용하는 산업 표준 프로세스 (6단계)

Phase 1. Business Understanding (비즈니스 이해)

기술적 관점이 아닌 사업 관점에서 목표를 수립하는 단계

• 목표: 프로젝트 목적/요구사항 이해, 비즈니스 목표를 데이터 마이닝 목표로 변환
• 주요 과업 (Tasks)
• 사업 목적 설정: 배경 파악, 비즈니스 성공 기준(KPI) 정의
• 현황 평가: 인력/데이터 자원 파악, 위험 요소 및 비용-효익 분석
• 목표 설정: 비즈니스 목표 달성을 위한 기술적/분석적 목표 정의
• 계획 수립: 도구 선정 및 일정 계획

• 산출물: 프로젝트 계획서, 초기 도구 평가서

Phase 2. Data Understanding (데이터 이해)

데이터 품질을 확인하고 숨겨진 정보를 탐색하는 단계

• 목표: 초기 통찰력 발견, 가설 수립, 데이터 품질 검증
• 주요 과업 (Tasks)
• 데이터 수집: 데이터 소스 접근 및 확보
• 기술 (Describe): 데이터 양, 속성 등 기초 통계 확인
• 탐색 (Explore): 시각화 등을 통한 패턴 발견
• 품질 검증: 결측치, 이상치, 오류 확인

• 산출물: 데이터 품질 보고서, 데이터 탐색 보고서

Phase 3. Data Preparation (데이터 준비)

"분석 가능한 형태"로 데이터를 가공하는 핵심 단계

• 목표: Raw Data로부터 모델링용 최종 데이터셋(Dataset) 구축
• 주요 과업 (Tasks)
• Select (선택): 분석 포함/배제 데이터 선정 및 근거 마련
• Clean (정제): 결측치 처리, 노이즈 제거
• Construct (생성): 파생 변수 및 레코드 생성
• Integrate (통합): 여러 테이블 병합 (Merge/Join)
• Format (포맷팅): 데이터 구조 및 구문 변경

• 산출물: 최종 데이터셋(Target Dataset), 정제 보고서

Phase 4. Modeling (모델링)

알고리즘을 적용하여 모델을 만들고 튜닝하는 단계

• 목표: 다양한 기법을 적용하여 최적의 모델 구축
• 주요 과업 (Tasks)
• 기법 선택: 목적에 맞는 알고리즘(회귀, 분류, 군집 등) 선정
• 테스트 설계: Train / Test 데이터 분리 방법 설계
• 모델 생성: 파라미터 설정 및 모델 구동
• 모델 평가 (기술적): 정확도, 오차율 등 기술적 지표로 성능 확인

• 산출물: 모델, 모델 설명서, 파라미터 설정값

참고: 모델 성능이 낮으면 다시 'Phase 3. 데이터 준비' 단계로 회귀함

Phase 5. Evaluation (평가)

모델이 실제 사업 목적에 부합하는지 검증하는 단계

• 목표: 비즈니스 적합성 최종 확인 및 다음 단계 결정
• 주요 과업 (Tasks)
• 결과 평가: Phase 1의 비즈니스 성공 기준과 비교
• 프로세스 회고: 누락된 요건이나 실수 점검
• Go/No-Go 결정: 배포, 재시작, 중단 중 선택

• 산출물: 승인된 모델, 결정 사항

Phase 6. Deployment (배포)

완성된 모델을 현장에 적용하여 사용자가 이용하게 하는 단계

• 목표: 모델 적용, 결과 공유, 유지보수 계획 수립
• 주요 과업 (Tasks)
• 배포 계획: 시스템 통합 및 배포 방법 설계
• 유지보수 계획: 모델 성능 저하(Drift) 감지 및 재학습 계획
• 최종 보고: 프로젝트 전체 과정 및 결과 정리 (Lessons Learned)

• 산출물: 최종 보고서, 배포 계획서

---

도움이 되셨다면 ❤️와 댓글 부탁드립니다!