ADsP 자격증 챌린지 3주차
01. 데이터 분석 기획
- 4가지 분석 주제
- 해결해야 할 문제, 분석 대상이 무엇인지 알고 분석 방법도 알고 있다면 ‘최적화’
- 분석 대상이 무엇인지 알고 있지만 방법을 모른다면 ‘솔루션’
- 분석 대상이 무엇인지 모르고 분석 방법도 모른다면, 분석 대상 자체를 새롭게 도출하는 ‘발견’
- 분석 대상이 무엇인지 모르지만 분석 방법은 알고 있다면 ‘통찰력’
- 목표시점별 분석 기획
- 빠르게 해결해야 하는 경우
- 장기적으로 분석해야 하는 경우
- 분석 기획 시 고려 사항
- 가용 데이터 고려
데이터 확보 가능성 고려 - 적절한 활용방안과 유스케이스
바퀴를 재발명하지 마라 - 기존 방법을 최대한 활용 - 장애요소에 대한 사전 계획 수립
02. 분석 방법론
방법론은 상세한 절차, 방법, 도구와 기법, 템플릿과 산출물 이렇게 세가지로 구성되어 있음.
합리적인 의사결정을 가로막는 방해요소 3가지
1. 고정관념
2. 편향된 생각
3. 프레이밍 효과 : 물이 반이나 있네? 물이 반밖에 없네?
방법론의 생성 과정
분석 방법론이 적용되는 업무 특성에 따른 모델
1. 폭포수 모델 (Waterfall Model)
- 단계를 거쳐 순차적으로 진행
- 이전 단계가 완료되어야 다음 단계 진행하는 하향식 방향
- 문제가 발생되면 바로 이전 단계로 돌아가는 피드백 과정
- 프로토 모델(Prototype Model)
- 폭포수의 단점을 보완
- 점진적 시스템 개발 접근방식
- 일부분을 먼저 개발하여 제공하고 이후에 사용자 요구 반영하여 개선
- 나선형 모델(Spiral Model)
- 반복을 통한 점진적 개발
- 프로토와 유사하나, 사용자의 요구보다 위험요소 사전 제거 집중
- 처음 시작하는 프로젝트에 적절, 관리 체계가 없으면 복잡도 상승
- 계층적 프로세스 모델
- 일반적인 분석 방법
- 최상 계층 단계(Phase) 몇 개, 하나의 단계는 여러 개의 태스크(Task), 하나의 태스크 안에는 여러 개의 스텝(Step)으로 구성. 보통 5단계(Phase) 사용
- 스텝은 WBS(Work Breakdown Structure)의 워크 패키지에 해당
⭐ KDD 분석 방법론 ⭐
-
KDD(Knowledge Discovery in Database): 데이터로부터 통계적 패턴을 찾기 위한 체계적으로 정리한 데이터 마이닝 프로세스
-
⭐ KDD 분석 방법론 프로세스
데이터셋 선택-데이터 전처리-데이터 변환-데이터 마이닝-데이터 마이닝 결과 평가
1단계 (데이터셋 선택)
비즈니스 도메인에 대한 이해, 목표 설정
2단계 (데이터 전처리)
잡읍, 이상치, 결측치 파악하여 의미 있는 데이터로 재가공
3단계 (데이터 변환)
데이터의 차원 축소
4단계 (데이터 마이닝)
분석 목적에 맞는 데이터 마이닝 기법 수행
5단계 (해석과 평가)
필요에 따라 데이터마이닝 프로세스 반복
⭐CRISP-DM 분석 방법론
- CRISP-DM(Cross Industry Standard Process for Data Mining)
- 단방향으로 구성되어 있지 않고 단계 간 피드백을 통하여 단계별 완성도를 높이게 되어 있다.
- CRISP_DM 분석 방법론 프로세스
1단계 (업무 이해)
업무 목적 파악, 상황 파악, 데이터 마이닝 목표 설정, 프로젝트 계획 수립
2단계 (데이터 이해)
초기 데이터 수집, 데이터 기술 분석, 데이터 탐색, 품질 확인
3단계 (데이터 준비)
분석용 데이터셋 선택, 데이터 정제, 데이터 통합, 분석용 데이터셋 편성, 데이터 포맷팅
4단계 (모델링)
모델링 기법 선택, 모델 테스트 계획 설계, 모델 작성, 모델 평가
5단계 (평가)
분석 결과 평가, 모델링 과정 평가, 모델 적용성 평가
6단계 (전개)
전개 계획 수립, 모니터링과 유지보수, 프로젝트 종료 보고서, 프로젝트 리뷰
⭐ 빅데이터 분석 방법론 개요
계층적 프로세스 모델을 방법론 사용
-
빅데이터 분석 방법론 5단계 플로우
-
분석 기획 (Phase)
비즈니스 도메인, 문제점 인식하여 분석 계획 수립
- 태스크 1: 비즈니스 이해 및 범위 설정 SOW(Statement Of Work)
- 태스크 2: 프로젝트 정의 및 계획 수립,
- 태스크 3: 프로젝트 위험 우선순위 설정, 위험대응 계획 수립, 예상 위험에 대해 회피, 전이, 완화, 수용으로 위험계획서 작성 -
데이터 준비
비즈니스와 데이터 분석에 필요한 데이터 준비
데이터 수집 및 정합성 체크
- 태스크 1: 필요 데이터 정의, 획득방안 수립
- 태스크 2: 정형 데이터 스토어(RDBMS) 설계, 비정형 데이터 스토어 설계(Hadoop, NoSQL)
- 태스크 3: 데이터 수집, 데이터 정합성 점검
-
데이터 분석
데이터셋 편성하여 분석하는 단계
추가 데이터 필요할 경우 다시 준비 단계로 피드백
모델링 및 모델 평가
- 태스크 1: 비즈니스 툴 확인, 분석용 데이터셋 준비
- 태스크 2: 텍스트 데이터 추출 및 분석
- 태스크 3: 탐색적 데이터 분석(EDA)을 통해 데이터 특성(평균, 분산, 표준편차, 최대값, 최소값) 확인, 데이터 시각화
- ⭐태스크 4: 데이터 분할(모델 과적합: 특정 데이터셋에 너무 적합되어있어, 다른 데이터셋에서 적응을 못함), 데이터 모델링, 모델 적용 및 운영(알고리즘 설명서 작성)
- 태스크 5: 모델 평가 및 검증
-
시스템 구현 (필요 시 진행)
분석 기획에 맞는 모델 설계, 사전 검증용 프로토타입 시스템 구현
- 태스크 1: 시스템 분석 및 설계, 시스템 구현
- 태스크 2: 시스템 테스트 및 운영 -
평가 및 전개
프로젝트 성과 평가 및 보고
- 태스크 1: 모델 발전 계획 수립
- 태스크 2: 프로젝트 평가 및 보고, 최종 보고서 작성
03. 분석 과제 발굴
-
분석 과제 발굴 개요
하향식 접근 방법: 문제가 주어져 있는 상태에서 답을 구하는 방식
상향식 접근 방법: 분석 대상을 모를 때 사용하는 방식
서로 상호 보완 관계이다
-
하향식 접근법
⭐문제 탐색 → 문제 정의 → 해결 방안 탐색 → 타당성 평가
⭐1단계: 문제 탐색 단계
- 비즈니스 모델 기반 문제 탐색
- 비즈니스모델 캔버스를 9가지 블록으로 단순화하여 업무, 제품, 고객 단위로 문제 발굴하여 규제와 감사영역, 지원 인트라
- 분석 기회 발굴의 범위 확장
-
거시적 관점의 메가 트렌드
- 사회
- 기술
- 경제
- 환경
- 정치 -
경쟁자 확대 관점: 위협이 될 수 있는 상황에 대한 분석 기회 발굴
- 대체재- 경쟁자
- 신규 진입자
-
시장의 니즈 탐색 관점
- 고객- 채널
- 영향자
-
역량의 재해석 관점
- 내부 역량- 파트너와 네트워크
- 외부 참조 모델 기반 문제 탐색 및 유스케이스 정의
2단계: 문제 정의 단계
비즈니스 문제를 데이터의 문제로 변환하여 정의하는 단계
3단계: 해결 방안 탐색 단계
4단계: 타당성 검토 단계
- 상향식 접근법
디자인 사고로 진행한다.
감정이입 - 정의 - 아이디어화 - 프로토타입 - 시험
디자인 사고는 수렴과 발산을 반복하며 창의적인 아이디어 도출하는 방식
- 지도 학습
- 정답이 있는 데이터 활용하여 모델을 학습시킴
- 비지도 학습
- 정답을 알려주지 않고 학습
- 정답이 없는 데이터를 비슷한 특징을 가진 데이터끼리 군집화하여 새로운 데이터를 예측하는 것
- 일반적으로 상향식은 비지도 학습에 의해 수행
시행착오를 통한 문제 해결(프로토타이핑 접근법)
- 사용자가 요구사항 등을 파악하기 어려운 상황에서 결과를 확인하면서 반복적으로 개선을 시도하는 방법
- 프로토타이핑 접근법 프로세스
가설의 생성 → 디자인에 대한 실험 → 실제 환경에서의 테스트 → 테스트 결과로부터 인사이트 도출 및 가설 확인
04. 분석 프로젝트 관리
-
분석 과제의 5가지 주요 속성
데이터의 양
데이터 복잡도
분석의 속도
분석 복잡도
정확도와 정밀도: 정확도란 모델과 실제 값 간의 차이가 적다
정밀도는 반복적으로 모델을 사용했을 때의 모델값의 편차 수준
Time boxing 기법: 현재 할당된 작업이 완수되지 못했더라도 일단 다음 작업으로 넘어가는 것. 철저한 통제는 아니지만, 시간에 집중하는 것 -
분석 과제 관리 방안
