오늘은 이어서 위키북스의 "2023 ADsP 데이터분석 준전문가 (전용문, 박현민 지음)" 의 p88~105을 공부했다.
(참고 : 내가 기억하고 싶은것을 적어두었다.)
[과목 #2] 1장 데이터 분석 기획의 이해
02 분석 과제 발굴
1. 분석 과제 발굴 개요
[1] 분석 과제 '발굴'의 개념과 '탐색 방법
(1) 분석 과제 발굴
- 해결해야 할 다양한 기업(혹은 분석의 주체)의 문제를 '데이터 분석 문제'로 변화하는 것을 포함하는 개념
(2) 분석 과제 탐색 방법
- 하향식 접근법 : 문제가 주어졌을 때 해결해야 할 과제가 무엇인지 찾는 Top-Down 수행방법, 각 과정이 체계적으로 단계화되어 문제를 해결하는 방식, 분석 대상을 알고 있다면 사용한다
- 상향식 접근법 : 문제가 무엇인지 사전에 정의하는 것이 어렵기 때문에 다양한 데이터의 조합 속에서 인사이트를 찾아내는 Bottom-Up 방식, 분석 대상을 모르고 있으면 사용한다
- 두 접근법을 혼용해서 사용하는 경우도 많다
[분석 과제 발굴 방법론 개념도]
[2] 디자인 씽킹
(1) IDEO사의 디자인 씽킹
- "더블 다이아몬드 프로세스"라고 불림, 상향식 접근법의 발산 단계와 하향식 접근법의 수렴 단계가 반복적으로 수행되어 상호 보완적으로 분석의 가치를 높이는 의사결정 방식
- 크게 문제 발결과 솔루션 제시 영역으로 구분된다
(2) 스탠퍼드대학 d.school의 디자인 씽킹
- 비즈니스와 기술, 인간 중심 사고가 만나 혁신적 해결책을 도출하는 방법, 상향식 접근법에 속한다고 볼 수 있다
2. 하향식 접근법
[1] 1단계 - 문제 탐색 단계
(1) 비즈니스 모델 탐색 기법
- 비즈니스 모델 캔버스 9 Block을 5개 영역으로 단순화
(2) 분석 기회 발굴 범위의 확장
- 거시적 관점, 경쟁자 확대 관점, 시장의 니즈 탐색, 역량의 재해석 4가지 영역에 대해 비즈니스 문제를 발굴하는 방법
(3) 외부 참조 모델 기반 문제 탐색 및 분석 유스케이스 정의
- 유사 동종 사례 벤치마킹을 통한 분석 기회 발굴 : 산업별, 서비스별 분석테마 후보 그룹(POOL)을 통한 가장 빠르고 쉬운 방식(Quick & Easy)로 분석 기회가 무엇인지 아이디어를 얻는 brainstorming 활용한 방법
- 분석 유스케이스(Analytics Use Cases) : 분석을 적용했을 때 업무 흐름을 개념적으로 설명한 것으로 프로세스 혁신 수단으로 활용된다
[2] 2단계 - 문제 정의 단계
(1) 문제 정의
- 식별된 비즈니스 문제를 데이터의 문제로 변환하여 정의하는 단계, 최종 사용자(End-User)의 관점에서 이루어져야 한다
(2) 문제 정의의 예
- 문제: 최근 고객들의 불만이 높아지고 있다
- 데이터의 문제로 정의 : 고객의 불만에 영향을 끼치는 요인은 무엇인지 분석하고, 그 요인과 고객 불만율에 대한 상관 및 예측 모델을 수립한다.
[3] 3단계 - 해결 방안 탐색 단계
(1) 해결 방안 탐색
- 2단계에서 정의된 데이터 분석 문제를 해결하기 위한 방안을 모색하는 단계, 동시에 분석이 가능한 시스템을 갖추었는지, 분석을 수행할 인력이 확보되었는지를 함께 따져보아야 한다
(2) 해결 방안 탐색 단계 프로세스
[4] 4단계 - 타당성 검토 단계
(1) 타당성 검토
- 크게 경제적 타당성 검토와 데이터 및 기술적 타당성 검토의 두 가지로 나뉜다
(2) 타당성 검토의 두 가지 유형
- 경제적 타당성 : 추정되는 실질적 비용 절감, 추가 매출, 수익 등 결제적 가치를 고려해야 함, 수행되는 비용이 분석이 수행되었을 때의 경제적 이득보다 크다면 기업에는 손해이기 때문이다
- 데이터 및 기술적 타다성 : 수행될 수 없는 분석을 추진하는 것은 경제적 손실이 따르기 때문에 데이터 존재 여부, 분석 시스템 환경, 분석 역량을 고려해야 한다
3. 상향식 접근법
[1] 상향식 접근법 개요
(1) 상향식 접근법 개념
- 분석 대상이 무엇인지 모를 경우 분석 과제 발굴을 위해 사용하는 방법, 원천 데이터로부터 통찰과 지식을 얻는 접근 방법이다
(2) 상향식 접근법의 특징
- 먼저 분석부터 시작하고 그 결과로부터 가치가 있는 문제를 도출하는 방법
- 스탬퍼드대학 d.school의 디자인 씽킹이 속한다
[2] 지도학습과 비지도학습
(1) 지도학습
- 정답이 있는 데이터를 활용하여 분석 모델을 학습시키는 것
- Label이 범주형인 분류와 연속형인 회귀로 나눠진다
- eg. 머신러닝, 의사결정 트리, 인공신경망 모형, 분류 분석
(2) 비지도학습
- 정답을 알려주지 않고 학습하는 것
- 정답 레이블이 없는 데이터를 비슷한 특징을 가진 데이터끼리 군집화하여 새로운 데이터에 대한 결과를 예측한다
- 데이터 자체의 결합, 연관성, 유사성 등을 중심으로 데이터의 상태를 표현한다
- 일반적으로 상향식 접근방식의 데이터분석은 비지도학습으로 수행된다
- eg. 장바구니 분석, 기술통계, 프로파일링, 군집 분석, 주성분분석, 다차원척도
[3] 시행착오를 통한 문제 해결 (프로토타이핑 접근법)
(1) 개념
- 상향식 접근법 중 하나, 먼저 분석을 시도하고 그 결과를 확인하면서 조금씩 개선해 나가는 방법
- 문제 정의가 불명확하고 새로운 문제일 경우 해당 접근법이 더 유용하게 활용될 수 있다
(2) 프로세스
(3) 프로토타이핑 접근법이 필요한 경우
- 문제에 대한 인식 수준이 낮거나 불명확할 경우
- 필요 데이터의 존재 여부가 불확실할 경우
- 데이터의 사용 목적이 고정되지 않고 변화할 경우
03 분석 프로젝트 관리 방안
1. 분석 프로젝트 관리 개요
[1] 분석 프로젝트의 특성
- 도출된 결과의 재해석을 통한 지속적인 모델 정교화 작업을 반복하여 모델을 개선할 수 있도록 적절한 관리 방안 수립이 필요하다
[2] 분석 과제의 5가지 주요 속성을 고려한 관리
(1) 데이터의 양
- 데이터 양이 작다면 일반 컴퓨터, 방대할 경우 클라우드 같은 분석환경을 활용하는게 유리하다
(2) 데이터 복잡도
- 비정형 데이터를 분석할 때 잘 적용될 수 있는 모델 고려할 필요가 있다
(3) 분석의 속도
(4) 분석 복잡도
- 정확도와 복잡도는 trade-off 관계에 있다
- 복잡도가 올라갈 수록 정확도가 올라간다, 그러나 모델이 복잡하여 직월 입장해서는 해석이 어려워진다
(5) 정확도 & 정밀도
- 정확도(Accuracy) : 모델과 실제 값 간의 차이가 적다는 것
- 정밀도(Precision) : 반복적으로 모델을 사용했을 때 모델 값들의 편차 수준을 나타냄
[Time Boxing 기법]
- 프로토타입 모델의 프로젝트 기획 및 관리 기법
- 할당된 작업이 주어진 시간 동안 완수되지 못하였더라도 다음 작업으로 넘어가는 방법
2. 분석 과제 관리 방안
- 프로젝트 관리지침 KS A ISO 21500:2013 을 기본 가이드로 활용
- 10개의 주제 그룹으로 구성되어 있다 : 통합, 이해관계자, 범위, 자원, 시간, 원가, 리스크, 품질, 조달, 의사소통
[능력 성숙도 통합 모델 (CMMI)]
- SW 및 시스템 공학의 역량 성숙도를 파악하기 위한 모델
- 5가지 단계로 나눠서 역량을 평가함
[출처]
위키북스 2023 ADsP 데이터분석 준전문가 (전용문, 박현민)
https://blog.naver.com/2heewoong/221509203628
https://www.stanwick.be/en/blog/design-thinking-creative-thinking-and-action
https://empathizeit.com/design-thinking-models-stanford-d-school/
https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=jdhpuppy&logNo=221343689820
https://www.researchgate.net/figure/Supervised-learning-and-unsupervised-learning-Supervised-learning-uses-annotation_fig1_329533120
http://www.kentchemistry.com/links/Measurements/accuracyPrecision.htm
http://www.313.co.kr/confluence/pages/viewpage.action?pageId=20742935
https://www.linkedin.com/pulse/capability-maturity-model-integration-cmmi-asif-raza/
