[Adsp] 2-1. 분석 기획과 분석 방법론
(1) 분석 대상과 그 방법에 따른 4가지 분석 주제
- 최적화 (Optimization) : 분석대상 know, 분석 방법 know
- 해결책 (Solution) : 분석대상 know, 분석 방법 unknwon
- 발견 (Discovery) : 분석대상 unknwon, 분석 방법 unknwon
- 통찰력 (Insight) : 분석대상 unknwon, 분석 방법 know
- 상향식 접근법 (상발통) : 발견 -> 통찰
- 하향식 접근법 (하최해): 최적화 -> 해결책
(2) 목표 시점 별 분석 계획
- <1> 과제 중심적인 접근 방식 (당면한 분석 주제 해결)
- 빠르게 해결해야 하는 경우, 빠른 수행과 문제 해결이 목적
- {1} 목적 : 빠르게 해결하는 것
- {2} 1차 목표 : Speed & Test
- {3} 과제 유형 : Quick & Win
- {4} 접근 방식 : Problem Solving
- <2> 장기적인 마스터 플랜 방식 (지속적 분석 문화 내재화)
- {1} 목적 : 지속적으로 해결하는 것이 목적
- {2} 1차 목표 : Accuracy & Deploy
- {3} 과제 유형 : Long Term View
- {4} 접근 방식 : Problem Definition
(3) 분석 기획 시 고려사항
- {1} 가용 데이터 고려 : 데이터 확보가 될 수 있는지, 데이터 유형에 대한 분석
- {2} 적절한 활용 방안과 유스케이스의 탐색 : 기존에 잘 구현되어 활용되고 있는 유사 시나리오 및 솔루션을 최대한 활용
- {3} 장애요소에 대한 사전 계획 수립
- 분석을 수행할 때 발생가능한 장애요소에 대한 사전 계획 수립이 필요
- 충분하고 계속적인 교육 및 활용 방안등 변화 관리 고려
(3) 기업의 합리적 의사결정 방해 요소
- <1> 고정 관념
- <2> 편향된 생각
- <3> 프레이밍 효과 : 동일한 사건이나 상황을 두고도 개인의 판단이나 선택이 달라질 수 있는 현상
(4) 분석 방법론이 적용되는 업무 특성에 따른 모델
- <1> 폭포수 모델 (하향)
- <2> 프로토타입 모델 (상향) -> 관리체계 효과적 x, 복잡도 높음
- <3> 나선형 모델 (반복) -> 위험 요소 사전에 제거
- <4> 계층적 프로세스 모델
- 단계 > 테스크 > 스탭 (WBS 워크패키지, 인풋/처리 및 도구/ 출력으로 구성된 단위 프로세스)
(5) 전통적인 분석 방법론 두 가지
- (1) KDD 분석 방법론 -> 데이터로부터 통계적 패턴이나 지식을 찾기 위해 체계적으로 정리한 데이터 마이닝 프로세스
- 데이터 셋 선택 (분석에 필요한 데이터를 선택하여 타깃 데이터 생성) -> 데이터 전처리 -> 데이터 변환 (변수를 생성.선택하고 데이터 차원 축소 / 학습용 데이터와 검증용 데이터 분리)-> 데이터 마이닝 -> 해석과 평가
- (2) CRISP-DM 분석 방법론 : 업무 이해 -> 데이터 이해 -> 데이터 준비 -> 모델링 -> 평가 -> 전개
- 업무이해 -> 업무 목적 파악, 상황 파악, 데이터 마이닝 목표 설정, 프로젝트 계획 수립
- 데이터 이해 -> 초기 데이터 수집, 데이터 기술 분석, 데이터 탐색, 데이터 품질 확인
- 데이터 준비 -> 노이즈와 결측지 식별/제거, 데이터 셋 선택
- 모델링 -> 모델링 기법 선택, 모델 테스트 계획 설계, 모델 작성, 모델 평가
- 평가
- 전개
(6) 빅데이터 분석 방법론
- 페이즈
- <1> 분석 기획
- {1} 비지니스 이해 및 범위 설정
- 비지니스 이해
- 프로젝트 범위 설정 -> 프로젝트 범위 정의서 (SOW)
- {2} 프로젝트 정의 및 계획 수립
- 데이터 분석 프로젝트 정의
- 프로젝트 수행 계획 수립 -> 업무 분업 구조 (WBS)
- {3} 프로젝트 위험 계획 수립
- 데이터 분석 위험 식별 (회피, 전이, 완화, 수용)
- 위험 대응 계획 수립
- <2> 데이터 준비
- {1} 필요 데이터의 정의
- 데이터 정의 -> 입력자료 : ERD
- 데이터 획득 방안 수립
- {2} 데이터 스토어 설계
- {3} 데이터 수집 및 정합성 검정
- 데이터 수집 및 저장 : 크롤링, ETL(dataware house), API, 스크립트
- 데이터 정합성 검정
- <3> 데이터 분석
- {1} 분석용 데이터 준비
- {2} 텍스트 분석
- {3} 탐색적 분석 (EDA 도구)
- {4} 모델링
- {5} 모델 평가 및 검증
- <4> 시스템 구현
- {1} 설계 및 구현
- {2} 시스템 테스트 및 운영
- <5> 평가 및 전개
- {1} 모델 발전 계획
- {2} 프로젝트 평가 및 보고
