[ADsP] 2강 데이터의 가치와 미래
Ⅰ. 빅데이터의 이해
1. 빅데이터의 이해
(1) 빅데이터의 정의
1) 일반적 정의
빅데이터의 빅(big)에는 단순히 양적인 개념뿐만 아니라 복잡하고 다양한 질적인 개념돠 포함
일반적으로 빅데이터란 큰 용량과 복잡성으로 기존 어플리케이션이나 툴로는 다루기 어려운 데이터셋의 집합을 의미
2) 가트너 정의
3) 매킨지 정의
4) IDC 정의
5) 일본 노무라연구소 정의
6) 더그 래니(Doug Laney)의 정의(3V)★
Volume - 양, Variety - 다양성, Velocity - 속도 + Value(가치) = 4V
7) 마이어쇤베르크와 쿠키어
8) 한국데이터산업진흥원 정의
(2) 빅데이터의 특성
1) 더그 래니의 3V★
Volume - 양, Variety - 다양성, Velocity - 속도
2) 빅데이터의 새로운 특성 4V★★
Value - 가치 or Veracity(정확성) / Visualization - 시각화 or Variability - 가변성
2. 빅데이터 출현 배경
(1) 빅데이터의 출현 배경
1) 데이터의 양적 증가
2) 산업계의 변화 - 양질 전환의 법칙(양적인 변화가 축적되면 질적인 변화도 이루어진다)★
3) 학계의 변화
4) 관련 기술의 발전 - 저장 기술의 발전과 가격하락, 클라우드 컴퓨팅 보편화
(2) 빅데이터의 기능과 변화
1) 빅데이터의 기능★
- 빅데이터는 "산업혁명의 석탄, 철" - 전반에 혁명적 변화를 가져올 것으로 기대
- 빅데이터는 "21세기의 원유" - 새로운 범주의 산업을 만들어 낼 것으로 기대
- 빅데이터는 "렌즈" - 산업 발전에 큰 영향을 줄 것으로 기대
- 빅데이터는 "플랫폼" - 구조물로서 다양한 서드파티 비즈니스에 활용될 것으로 기대
2) 빅데이터가 만들어내는 변화 (후 - 전 - 양 - 상)★
- 사전처리→사후처리 : 수집된 데이터를 바탕으로 다양한 방식으로 조합하여 인사이트 도출
- 표본조사→전수조사 : 데이터 처리 비용이 감사호며 데이터 활용 방법이 전수조사로 변화
- 질→양 : 데이터의 양이 증가할 수록 분석의 정확도가 높아져 양질의 분석 결과 산출에 긍정적
- 인과관계→상관관계 : 특정 현상의 발생 가능성이 포착, 그에 상응하는 인사이트 도출이 확산
3) 빅데이터의 등장에 따른 변화
- 빅데이터의 등장에 의한 기술 변화
- 인재와 조직의 변화
Ⅱ 데이터의 가치와 미래
1. 빅데이터의 가치와 영향
(1) 빅데이터의 가치
1) 빅데이터의 가치
어떤 인사이트를 발굴하여 어떻게 활용할 것
but, 빅데이터의 가치를 산정하는 일은 어렵다
2) 빅데이터 가치 산정의 어려움★
- 데이터 활용 방식 : 누가 언제 어떻게 어디서 활용하는지 알 수 없다
- 가치 창출 방식 : 기존에 없던 새로운 가치를 창출
- 분석 기술의 발전 : 새로운 분석 기법의 등장으로 과거의 데이터가 가치 있는 데이터가 되는 경우
(2) 빅데이터의 영향
1) 빅데이터의 영향
- 기업 : 소비자 행동을 분석, 신사업을 발굴
- 정부 : 환경 탐색, 상황 분석, 미래 대응
- 개인 : 스마트라이프로 변화
2) 빅데이터가 가치를 만들어내는 5가지 방식(맥킨지의 빅데이터 보고서, 2011)
- 투명성 제고로 연구개발 및 관리 효율성 제고
- 시뮬레이션을 통한 수요 포착 및 주요 변수 탐색으로 경쟁력 강화
- 고객 세분화 및 맞춤 서비스 제공
- 알고리즘을 활용한 의사결정 보조 혹은 대체
- 비즈니스 모델과 제품, 서비스의 혁신 등
2. 빅데이터와 비즈니스 모델
(1) 빅데이터 활용 사례
1) 기업혁신 사례
2) 정부활용 사례
3) 개인활용 사례
TIP. 미래의 빅데이터 활용에 필요한 3요소★
데이터(모든 것의 데이터화), 기술(인공지능, 알고리즘), 인력(데이터 사이언티스트, 알고리즈미스트)
(2) 7가지 빅데이터 활용 기본 테크닉 ★★★
1) 연관 규칙 학습 - 어떤 변수 간에 주목할 만한 상관 관계가 있는지를 찾는 방법
2) 유형분석 - 새로운 사건이 속할 범주를 찾아내는 방법
3) 유전 알고리즘 - '최적화'가 필요한 문제의 해결책을 점진적으로 진화시켜 나가는 방법
4) 기계학습=머신러닝 - 데이터로부터 규칙을 찾고 이러한 규칙을 활용해 '예측"하는 데 초점을 둔 방법
5) 회귀분석 - 독립변수를 조작하면서 종속변수가 어떻게 변하는지를 보며 수치형으로 이루어진 두 변인의 관계를 파악하는 방법
6) 감정분석 - 특정 주제에 대해 말하거나 글을 쓴 사람의 감정을 분석하는 방법(특히, 비정형 데이터 마이닝의 대표적인 기법)
7) 소셜 네트워크 분석 - 사회 관계망 분석, 오피니언 리더 즉, 영향력 있는 사람을 찾아내고 고객 간 소셜 관계를 파악
3. 빅데이터의 위기 요인과 통제 방안
(1) 위기요인 ★★★
1) 사생활 침해 - 개인의 사생활 침해 위협을 넘어 사회 경제적 위협
2) 책임 원칙 훼손 - 분석 대상이 되는 사람들이 예측 알고리즘의 희생이 될 가능성 예) 영화 <마이너리티 리포트>
3) 데이터 오용 - 데이터 과신 또는 잘못된 지표의 사용으로 인한 잘못된 인사이트 or 과거 데이터 분석을 통한 창조적인 미래 예측 등
(2) 통제 방안 ★★★
1) 사생활 침해의 통제 방안 → '동의'에서 '책임'으로
2) 책임 원칙 훼손의 통제 방안 → 결과 기반 책임 원칙 고수
3) 알고리즘 접근 허용 - 피해 발생 시 발생한 이유를 확인하기 위해 알고리즘에 접근하여 피해자 구제
PS. 개인정보 비식별 기술
- 데이터 마스킹
- 가명 처리
- 총계 처리
- 데이터 값 삭제
- 데이터 범주화
Ⅲ. 가치창조를 위한 데이터 사이언스와 전략 인사이트
1. 빅데이터 분석과 전략 인사이트
(1) 빅데이터 열풍과 회의론
1) 빅데이터에 대한 관심과 기대
2) 빅데이터 회의론의 원인 - 부정적 학습효과, 과대 포장
(2) 빅데이터 분석의 핵심은 'Big'이 아닌 '인사이트'
1) '크기'가 아니라 '인사이트' - 빅데이터와 관련된 걸림돌 '비용'이 아니라 '분석적 방법과 성과에 대한 이해 부족'
2) 전략적 인사이트의 중요성
(3) 일차원적 분석 vs. 전략 도출을 위한 가치 기반 분석
1) 일차원적 분석(산업별) ★★
- 금융서비스 신용점수 산정, 사기 탐지, 가격 책정, 프로그램 트레이딩, 클레임 분석, 고객 수익성 분석
- 에너지 트레이딩, 공급/수요 예측
- 병원 가격 책정, 고객 로열티, 수익 관리
- 정부 사기탐지, 사례관리, 범죄방지, 수익최적화
- 소매원 판촉, 매대 관리, 수요 예측, 재고 보충, 가격 및 제조 최적화
- 제조업 공급사슬 최적화, 수요 예측, 재고 보충, 보증서 분석, 맞춤형 상품 개발, 신상품 개발
- 운송업 일정 관리, 노선 배정, 수익 관리
- 헬스케어 약품 거래, 예비 진단, 질병 관리
- 커뮤니케이션 가격 계획 최적화, 고객 보유, 수요 예측, 생산 능력 계획, 네트워크 최적화, 고객 수익성 관리
- 서비스 콜센터 직원 관리, 서비스-수익 사슬 관리
- 온라인 웹 매트릭스, 사이트 설계, 고객 추천
- 모든사업 성과 관리
2) 전략 도출을 위한 가치 기반 분석
- 일차적 분석을 통해서도 해당 부서나 업무 영역에서는 상당한 효과
but, 내부 문제에만 포커스를 두고 있으면 비즈니스 성공에 핵심적인 역할을 기대하기 어렵다
2. 전략 인사이트 도출을 위해 필요한 역량
(1) 데이터 사이언스에 대한 이해와 역할
1) 데이터 사이언스에 대한 이해
- 통계학 : 정형화된 실험 데이터를 분석 대상
- 데이터 사이언스 : 정형 또는 비정형을 막론하고 다양한 유형의 데이터를 대상
2) 데이터 사이언스의 역할
- 데이터 마이닝 - 주로 분석 위주
- 데이터 사이언티스트 - 분석 + 구현 + 전달 + 전략적 인사이트 도출 등 포괄적 개념 + 소통이 핵심 역량
(2) '데이터 사이언스'와 '데이터 사이언티스티'
1) 데이터 사이언스 구성 요소★★
- Analytics : 수학, 확률 모델, 머신러닝, 분석학, 패턴 인식과 학습, 불확실성 모델링 등
- IT(Data Management) : 프로그래밍, 데이터 엔지니어링, 데이터 웨어하우징 등
- 비즈니스 분석 : 커뮤니케이션, 프레젠테이션, 스토리텔링, 시각화 등
2) 데이터 사이언티스트에게 요구되는 역량★★★
- 하드스킬 : 빅데이터에 대한 이론적 지식 + 분석 기술에 대한 숙련
- 소프트스킬 : 통찰력 있는 분석 + 설들력 있는 전달 + 다분야 간 협력
(3) 데이터 사이언스: 과학과 인문학의 교차로
1) 전략과 인사이트 도출을 위한 인문학 - 소프트 스킬의 출처는 인문학
2) 인문학적 사고의 특성
- 구분 정보 통찰
과거 무슨 일이 일어 났는가? 어떻게, 왜 일어났는가?
현재 무슨 일이 일어나고 있는가? 차선 행동은 무엇인가?
미래 무슨 일이 일어날 것인가? 최악 또는 최선의 상황은 무엇인가?
3. 빅데이터 그리고 데이터 사이언스의 미래
(1) 가치 패러다임의 변화
1) 가치 패러다임
2) 가치 패러다임의 변화
과거 - 현재 - 미래
디지털화 연결 에이전시
(2) 데이터 사이언스의 한계와 인문학
1) 데이터 사이언스의 한계
2) 데이터 사이언티스트에게 요구되는 인문학
