(ADsP) 8. 분석 과제 발굴

1) 분석 과제 '발굴'의 개념과 '탐색' 방법

(1) 분석 과제 발굴

• 어느 기업에서 데이터 분석 플랫폼을 구축하고 이를 통해 기업경영 전략에 활용한다고 가정해보자. 가장 먼저 해야 할 일은 '무엇'을 분석해야 하는지 그 분석 과제를 발굴하는 일이다.
• 분석 과제 발굴이란 해결해야 할 다양한 기업(혹은 분석의 주체)의 문제를 '데이터 분석 문제'로 변환하는 것을 포함하는 개념이다.
• 분석 과제는 이해관계자들이 이해할 수 있게 프로젝트 수행 목적의 과제 정의서 형태로 도출된다.
• 분석 과제를 탐색하기 위해 크게 하향식 접근법과 상향식 접근법으로 나뉜다.

(2) ⭐분석 과제 탐색 방법⭐

• 하향식 접근법 : 문제가 주어졌을 때 우리가 해결해야 할 과제가 무엇인지를 찾는 전통적인 Top-Down 수행 방법으로, 각 과정이 체계적으로 단계화되어 문제를 해결하는 방식이다.
• 상향식 접근법 : 대규모 데이터가 생성되고 빠르게 변하는 현대에서는 문제가 무엇인지 사전에 정의하는 것이 어렵기 때문에 다양한 데이터의 조합 속에서 인사이트를 찾아내는 Bottom-Up 방식이다.

✔ 분석 대상을 알고 있다면? 하향식 접근법
✔ 분석 대상을 모른다면? 상향식 접근법

실제 분석 과정에서는 분석 과제 발굴을 위해 하향식 접근법과 상향식 접근법을 혼용해서 사용하는 경우가 많다.

2) 디자인 씽킹

(1) IDEO사의 디자인 씽킹

• IDEO사의 디자인 씽킹 프로세스는 크게 문제 발견과 솔루션 제시 영역으로 구분된다.
• 더블 다이아몬드 프로세스라 불리는 이 디자인 씽킹 프로세스는 상향식 접근법의 발산 단계와 하향식 접근법의 수렴 단계가 반복적으로 수행되어 상호 보완적으로 분석의 가치를 높이는 의사결정 방식이다.
• 수렴과 발산을 반복하면서 창의적이고 혁신적인 아이디어를 도출하는 방식이다.
  

(2) 스탠퍼드대학 d.school의 디자인 씽킹

• 스탠퍼드대학 d.school의 디자인 씽킹은 비즈니스와 기술 그리고 인간 중심 사고가 만나 혁식적 해결책을 도출하는 또 하나의 새로운 방법이 될 수 있다.
• d.school의 디자인 씽킹은 다음과 같은 과정을 거친다.

1. 공감(Empathize)
2. 문제 정의(Define)
3. 아이디어 도출(Ideate)
4. 프로토타입(Prototype)
5. 테스트(Test)
6. 평가(ASSESS)

: 스탠퍼드대학 d.school의 디자인 씽킹은 상향식 접근법에 속한다고 볼 수 있다.

3) ⭐하향식 접근법⭐

1단계 - 문제 탐색 단계
(1) ⭐비즈니스 모델 탐색 기법⭐

• 비즈니스 모델 캔버스의 9가지 블록을 5가지로 단순화한 탐색 기법이다.
• 업무(Operation), 제품(Product), 고객(Customers) 단위로 문제를 발굴하고 이를 관리하는 규제와 감사(Audit & Regulation), 지원 인프라(IT & Human Resource)의 두 가지 영역에 대한 기회를 추가로 도출하는 작업을 수행한다.
• 여기서의 지원 인프라는 분석을 수행하는 시스템 영역(IT)과 이를 운영하고 관리하는 인력(Human Resource)의 영역을 의미한다.

(2) ⭐분석 기회 발굴 범위의 확장⭐

• 기업과 산업 환경을 중심으로 거시적 관점, 경쟁자, 시장의 니즈, 역량 등 4가지 영역에 대해 비즈니스 문제를 발굴하는 방법이다.

2단계 - 문제 정의 단계
(1) 문제 정의

• 문제 정의 단계는 식별된 비즈니스 문제를 데이터의 문제로 변환하여 정의하는 단계다.
• 앞에서 본 비즈니스 모델 기반 문제 탐색과 외부 사례 기반 문제 탐색의 두 가지 방법에 의한 문제 탐색은 무엇을(What), 어떠한 목적으로(Why) 수행해야 하는지에 대한 관점이라면, 문제 정의 단계는 이를 달성하는 데 필요한 데이터 및 기법을 정의하기 위한 데이터 분석의 문제로 변환을 수행한다.
• 데이터 분석 문제의 정의는 최종 사용자(End-User)의 관점에서 이루어져야 한다.

3단계 - 해결 방안 탐색 단계
(1) 해결 방안 탐색

• 문제 정의 단계에서 정의된 데이터 분석 문제를 해결하기 위한 방안을 모색하는 단계다.
• 해결 방안을 탐색하면서 동시에 현재 기업 수준에서의 분석이 가능한 시스템을 갖추었는지, 분석을 수행할 인력이 확보되었는지를 함께 따져보아야 한다.

(2) 해결 방안 탐색 단계 프로세스

• 먼저 기존 시스템으로 가능한지와 기업 자체의 역량이 있는지를 판단하여 다음 그림과 같이 4개의 해결 방안 중 하나를 선정한다.

4단계 - 타당성 검토 단계
(1) 타당성 검토

• 수행되어야 할 분석 과제가 정의되었고 어떠한 방법으로 어떤 인력과 함께 수행될지 결정되었다면 과연 이 해결 방안이 타당한 것인지 검토해야 한다.
• 타당성 검토는 크게 경제적 타당성 검토와 데이터 및 기술적 타당성 검토의 두 가지로 나뉜다.

(2) 타당성 검토의 두가지 유형

• 경제적 타당성
• 데이터 및 기술적 타당성

4) 상향식 접근법

• 상향식 접근법 개요
  (1) 상향식 접근법 개념
• 상향식 접근법은 분석 대상이 무엇인지 모를 경우 분석 과제 발굴을 위해 사용하는 방법으로, 말 그대로 원천 데이터로부터 통찰과 지식을 얻는 접근 방법이다.

(2) 상향식 접근법의 특징

• 하향식 접근법은 분석 계획을 수립하고 분석 단계로 이어지지만, 상향식 접근법은 먼저 분석부터 시작하고 그 결과로부터 가치가 있는 문제를 도출하는 방법이다.

• ⭐지도학습과 비지도학습⭐
  (1) 지도학습

• 지도학습이란 정답이 있는 데이터를 활용하여 분석 모델을 학습시키는 것이다.

• 지도 학습은 레이블(Label)이 범주형인 분류와 연속형인 회귀로 나누어진다.

• ex : 머신러닝, 의사결정 트리, 인공신경망 모형, 분류 분석

(2) 비지도학습

• 지도학습과는 달리 정답을 알려주지 않고 학습하는 것이다.
• 정답 레이블이 없는 데이터를 비슷한 특징을 가진 데이터끼리 군집화하여 새로운 데이터에 대한 결과를 예측한다.
• 목적이 멱확하게 정의된 특정 필드의 값을 구하는 것이 아니라, 데이터 자체의 결합, 연관성, 유사성 등을 중심으로 데이터의 상태를 표현하는 것이다.
• 일반적으로 상향식 접근방식의 데이터 분석은 비지도학습에 의해 수행된다.
• ex : 장바구니 분석, 기술통계, 프로파일링, 군집 분석, 주성분분석, 다차원척도

5) ⭐시행착오를 통한 문제 해결(프로토타이핑 접근법)⭐

(1) 개념

• 상향식 접근법 중 하나로 시행착오 해결법이라고도 한다. 먼저 분석을 시도하고 그 결과를 확인하면서 조금씩 개선해나가는 방법이다.
• 하향식 접근법의 경우 문제를 먼저 정의할 수 있으며 그 문제 해결을 위한 데이터가 기업 내에 존재하는 경우 가능하지만, 만약 그럴 수 없는 경우에는 상향식 접근법 중 하나인 이 프로토타이핑 접근법이 좋은 대안이 될 수 있다.
• 문제 정의가 불명확하고 새로운 문제일 경우 빅데이터 분석 환경에서 오히려 프로토타이핑 접근법이 더 유용하게 활용된다.

(2) 프로세스

• 가설의 생성 -> 디자인에 대한 실험 -> 실제 환경에서의 테스트 -> 테스트 결과로부터 인사이트 도출 및 가설 확인

(3) 프로토타이핑 접근법이 필요한 경우

• 문제에 대한 인식 수준이 낮거나 불명확할 경우
• 필요 데이터의 존재 여부가 불확실할 경우
• 데이터의 사용 목적이 고정되지 않고 변화할 경우