데이터 유형 / 유형별 특성
DDUX적 접근에서 말하는 데이터는 무엇인가?
데이터 : 분석 및 활용을 위해 디지털화가 가능한 자료
관점과 특성에 따라 데이터를 구분한느 방식과 차원은 다양하다.
- 숫자로 표현 가능 유뮤 : 정량적 데이터 / 정성적 데이터
- 원본 데이터로 환원 가능 유무: 가역적 데이터 / 비가역적 데이터
- 형태가 있고 연산이 가능한 지 유무: 정형 데이터 / 비정형 데이터
- 데이터 간 연속성 유무 : 이산형 데이터 / 연속형 데이터
- 자유롭게 활용 가능 유무 : 내부 데이터 / 외부 데이터
변수
- 개체(item) : 분석자가 관심을 갖고 관찰 혹은 연구하려는 대상, target User-Customer 또는 특정 제품 및 서비스
- 요인(factor) : 개체가 갖고 있는 다양한 태도-행동-가치 특성 중 분석자가 관심을 갖는 특성, Target User-Customer의 사용 특성 또는 제품의 편의적 특성
- 변수(Variable) : 요인을 구성하고 있는 하위 속성으로 관찰 및 측정이 가능한 특성, 고빈도 사용자, 장기 사용자 똔느 제품의 무게, 배터리 지속 시간 등
원인(X) -> 결과(Y)
독립변수
설명변수
예측변수
종속변수
반응변수
결과변수
DDUX에서는 일반적으로 사용자 및 소비자가 왜 ㅎ해당 제품을 선호하는 지에 대한 답을 찾고 이를 바탕으로 제품 기획 /개발/개선을 단계적으로 수행하게 된다.
물론 연구가설에 따라 차이가 존재하지만, 원인에 해당하는 변수는 앞서도 언급되었던, 고객이 지닌 특정화 될 수 있는 개인차 속성들과 제품이 지닌 경험품질적인 차이 속성들이 포함될 수 있다.
Scale(척도) : 내가 수집하고자 하는 데이터의 속성을 파악할 수 있다.
척도의 특성을 이해해야 수집-분석 과정에서 적합한 툴과 테크닉을 쓸 수 있다.
변수에 대해 정량화한 속성의 '단위'
범주형 자료
- 명목척도: 범주의 구분을 목적으로 하는 척도, 정량적 표현은 가능하나 수량적 의미는 없음 (예: 혈액형)
- 순위척도: 속성에 따른 순위를 가늠하게 하는 척도, 순위 자체를 특정화할 수는 있으나 의미 없음(예: 순위, 1등이 2등보다 두 배 잘했다고 할 수 없음.)
연속형 자료
- 등간척도: 속성의 양적 차이를 균일한 기준으로 평가하는 척도, 있고 없음이 아닌 높고 낮음 혹은 많고 적음(섭씨)
- 비율척도: 등간 척도의 개념에서 절대 영점 개념이 추가된 척도, 존재 유무를 포함한 척도(거리, 무게)
DDUX = 제품에 대한 고객 선호 이유 탐색
DDUX의 목적은 특정 변수로 분석 가능한 고객에 대해 특정 변수로 분석 가능한 제품 사이의 관계를 밝히는 것
데이터 수집 / 정제 분석 과정
GIGO(Garbage In Garbage Out)
DDUX 접근 역시 일반적인 데이터 사이언스의 프로세스를 따른다.
다만, 관심 연구 주제 및 프로젝트 방향성에 따라 일부 단계가 생략 또는 추가될 수 있다.
- Frame the Problem
- 리서치 연구 목적에 따라 문제를 정의하고, 관심 변수를 활용하여 프로젝트의 방향성을 결정하는 단계
- 프로젝트의 방향성에 따라 크게는 탐색적 분석과 확증적 분석으로 구분할 수 있다.
탐색적 분석
- 데이터로부터 패턴을 찾고 인사이트를 도출하는 귀납적 접근 방식
- 주로 프로젝트 초기 방향성 수립을 위한 가설 수립 / 변수 탐색 단계에서 많이 활용
- 기술적 통계분석을 주로 활용
- 수집 -> 시각화/탐색 -> 패턴화 -> 인사이트 발굴
확증적 분석
- 변인간 관계성을 기반으로 가설을 설정한 후 해당 가설을 검증하는 연역적 접근방식
- 주로 프로젝트 중후반 명확한 변수간의 관계성 검증을 통해 결과를 도출하는 단계에서 활용
- 추론적 통계분석을 주로 활용
- 가설설정 -> 수집 -> 통계분석 -> 가설검증
- Collect the raw data
- 프로젝트의 방향성 및 분석 유형에 대한 설계가 완료되었다면, 실질적인 데이터 수집 단걔를 수행
- 수집하고자 하는 데이터에 대한 탐ㅎ색 및 선정 과정은 전체 프로젝트의 성패를 좌우할 만큼 중요
- 데이터 수집 가능성고려- 데이터의 개인 정보 보호 / 저작권 이슈 등에 대한 사전 점검 필수
- 데이터의 신뢰도 / 타당도 수준 고려
- 데이터 수집의 비용 수준 고려
- 수집하고자 하는 데이터 선정이 완료되면, 해당 데이터의 효과적인 분석 및 활용을 위해 데이터의 연결성 고려
- 다양한 데이터 소스를 활용하여 데이터를 수집할 경우, Single-view of user or product이 이슈가 될 수 있음.
- DDUX의 성격이 플랫폼화된 서비스와 연관된다거나 주기적인 수집 및 분석이 필요한 경우라면, 수집 단계에서부터 체계적 저장 및 관리를 위한 DB화 계획 수립 필요
- Process the data
모든 데이터 관련 프로젝트에서 간과되는 부분은 데이터 활용 이전 단계, 특히나 데이터를 분석 가능한 수준으로 준비하는 과정인 정제 과정에 들어가는 시간과 자원의 수준이다.
특히나 1회성 수준의 단순 intelligence 발굴 DDUX분석 프로젝트가 아닌, 예측모형을 통해 실시간 인사이트를 도출해 나가거나 플랫폼 형태의 서비스와 결합하여 고도화 과정을 수행하는 프로젝트의 경우에는, 데이터를 컴퓨터가 읽을 수 잇는 형태의 데이터로 준비하는 과정의 중요성이 더욱 증대된다고 볼 수 있다.
1) select the data : 수집된 데이터들 중 일부의 subset을 선정하는 단계
2) preprocess the data : 선정된 데이터에 대해 분석 가능한 형태로 조직화하는 단계
3) transform the data : 분석 및 활용의 방향성에 맞춰 데이터를 변환하는 단계
- EDA
- 통계분석의 목적에 따라 크게는 두 가지 분석 대유형(기술적 통계분석, 추론적 통계분석)이 존재
- 분석 목적에 따라 적합한 방식을 활용할 수 있으며, 두 분석 방식의 중요도에는 차이가 없음.
기술적 통계 분석
- 수집한 데이터를 정량적으로 정리/요약하는 방법
- 집중 경향성과 분산도를 다룸
- 데이터가 나타내는 전반적 패턴에 대한 이해 가능
추론적 통계 분석
- 수집된 데이터로 모집단의 특성을 추측하는 방법
- 표본집단이 모집단을 얼마나 대표하는지를 다룸
- 모수통계: 분포특성 및 모수값을 안다는 가정 필요
- 비모수 통계: 모집단의 모수성 가정하지 않음
- Perform in-depth analysis
Gartner의 분석 성숙도 모델에 기반한 분석 기법 분류
- descriptive analysis : 설명적 분석, 과거 혹은 현재의 현상에 대해 다양한 기준으로 서술하는 방법
- diagnosis analysis : 진단적 분석, 특이한 현상의 발생 원인에 대해 탐색하는 방법
- predictive analytics : 예측적 분석, 현상의 향후 발생가능성에 대해 예측하는 방법
- prescriptive analytics: 처방적 분석, 보다 actionable한 관점에서 현상 개입을 고안하는 방법
DDUX = 사용자에 대한 심리-통계학적 이해
데이터 시각화
- 차트, 그래프, 맵 등의 시각 요소를 사용하여 데이터가 나타내는 추세, 이상값 및 패턴을 확인하고 이해하기 쉽도록 전달하는 방법
- 의사 결정 과정에서 분석 결과에 대한 명확하고 효과적인 공유를 주목적으로 함.
- 데이터 왜곡이 없도록 사실 그대로를 전달해야 함.
- 데이터가 가진 속성에 따라 효과적인 시각화 방법을 고민해야 함.
