Modern data ecosystem

• Forbes 2020 향후 10년간 데이터에 대한 보고서를 인용

  데이터 처리 속도와 대역폭의 지속적인 증가, 데이터 생성, 공유 및 소비를 위한 새로운 도구의 끊임없는 발명, 새로운 데이터 생성자와 소비자의 꾸준한 추가 데이터가 계속해서 증가함

• 데이터가 나오는 곳

  데이터는 텍스트, 이미지, 비디오, 클릭 스트림, 사용자 대화, 소셜 미디어 플랫폼, 사물 인터넷 또는 IoT 장치, 데이터를 스트리밍하는 실시간 이벤트, 레거시 데이터베이스 및 전문 데이터 제공업체 및 기관에서 제공한 데이터등등 여러가지 원천이 있음

• 데이터 작업할때 첫번째로 해야하는 일은 원본 소스의 데이터를 복사해 이터 리포지토리로 가져오는 것

  1. 최종 사용자가 액세스할 수 있도록 구성, 정리 및 최적화
  2. 조직에서 시행하는 규정 준수 및 표준을 준수
  3. IoT 장치의 경우 건강, 생체 인식 또는 가정 데이터와 같은 개인 데이터의 저장 및 사용을 규제하는 지침을 준수

• 그다음 최종 사용자에게 이 데이터를 제공할 수 있는 인터페이스, API 및 애플리케이션이 포함되게끔 만들기

  비즈니스 이해 관계자는 보고서와 대시보드가 필요함
  

Key Players in the Data Ecosystem

• 오늘날은 데이터를 사용하여 기회를 발견하고 해당 지식을 적용하여 차별화하는 조직이 미래를 선도하는 조직임

  사기를 탐지하기 위해 금융 거래에서 패턴을 찾든, 전환을 유도하기 위한 추천 엔진 사용, 마이닝, 고객 목소리를 위한 소셜 미디어 게시물 또는 고객 행동 분석을 기반으로 제안을 개인화하는 브랜드이든, 비즈니스 리더는 데이터가 경쟁 우위의 핵심이라는 것을 깨달아야 함

• 모든 것은 데이터 엔지니어로부터 시작

  1. 데이터 엔지니어는 데이터 아키텍처를 개발 및 유지 관리하고 비즈니스 운영 및 분석에 사용할 수 있는 데이터를 만드는 사람들
  2. 데이터 엔지니어는 프로그래밍에 대한 좋은 지식, 시스템 및 기술 아키텍처에 대한 건전한 지식, 관계형 데이터베이스 및 비관계형 데이터 저장소에 대한 심층적인 이해가 있어야

• 데이터 분석가는 데이터와 숫자를 일반 언어로 변환하여 조직에서 의사 결정을 내리고, 데이터 분석가가 통찰력을 도출하기 위해 데이터를 검사 및 정리하고, 상관 관계를 식별하고, 패턴을 찾고, 통계 방법을 적용할 수 있도록 함

  1. 데이터를 분석 및 마이닝하고 데이터를 시각화하여 데이터 분석 결과를 해석하고 제시
  2. 데이터 분석가는 스프레드시트, 쿼리 작성, 차트 및 대시보드 생성을 위한 통계 도구 사용에 대한 충분한 지식이 필요
  3. 현대의 데이터 분석가도 어느 정도 프로그래밍 기술이 필요
  4. 강력한 분석 및 스토리텔링 기술이 필요

• 데이터 과학자는 실행 가능한 통찰력을 위해 데이터를 분석하고 예측 모델을 생성하기 위해 과거 데이터를 학습하는 머신 러닝 또는 딥 러닝 모델을 구축

  1. 데이터 과학자는 수학, 통계 지식, 프로그래밍 언어, 데이터베이스 및 데이터 모델 구축에 대한 공정한 이해가 필요
  2. 도메인 지식 필요

• 비즈니스 분석가는 데이터 분석가와 데이터 과학자와 함께 비즈니스에 미칠 수 있는 영향을 파악하고 액션을 제시함

• BI 분석가는 다양한 비즈니스 기능에 대한 데이터를 구성 및 모니터링하고 해당 데이터를 탐색하여 비즈니스 성과를 개선하는 통찰력과 실행 가능한 항목을 추출함으로써 비즈니스 인텔리전스 솔루션을 제공

Defining Data Analysis

• 데이터 분석은 데이터를 수집, 정리, 분석 및 마이닝하고 결과를 해석하고 결과를 보고하는 프로세스

1. Descriptive Analytics - 기술 분석
   • 과거 데이터를 요약하고 이해 관계자에게 결과를 제시함
   • 조직의 핵심 성과 지표 또는 현금 흐름 분석을 기반으로 과거 성과를 추적하는 것등

2. 진단 분석
   • 왜 그런 일이 있었는지 확인하는 것
   • 기술 분석의 통찰력이 필요
3. 예측 분석
   • 과거 데이터와 추세 = 미래 결과를 예측하는 데 사용
   • 위험 평가 및 판매 예측
4. Prescriptive Analytics - 규범적 분석
   • 과거의 결정과 사건을 분석함으로써 다른 결과의 가능성. 행동 방침이 결정되는 기준으로 추정

데이터 분석 순서

1. 데이터 분석은 해결해야 할 문제와 달성해야 할 원하는 결과를 이해하는 것으로 시작됨
2. 분석 프로세스를 시작하기 전에 현재 위치와 원하는 위치를 명확하게 정의
3. 데이터를 수집하고 필요한 데이터, 이 데이터를 가져오는 데 필요한 데이터 소스를 식별
4. 데이터를 수집한 다음 단계는 분석의 정확성에 영향을 줄 수 있는 데이터의 품질 문제를 수정하는 것 (누락되거나 불완전한 값 및 이상값에 대한 데이터를 정리)
5. 다양한 관점에서 데이터를 추출하고 분석 ( 추세를 이해하고 상관 관계를 식별하고 패턴과 변형을 찾기 위해 여러 가지 방법으로 데이터를 조작하는 것 등)
6. 결과를 해석할 때 이의 제기에 대해 분석을 방어할 수 있는지, 그리고 분석이 사실이 아닐 수 있는 제한 사항이나 상황이 있는지 평가
7. 결과를 명확하고 영향력 있는 방식으로 전달하고 제시

Viewpoints: What is Data Analytics?

• 데이터 분석을 정보를 수집하고 그 정보를 분석하여 다양한 가설을 확인하는 과정이라고 정의함
• 데이터를 사용한 스토리텔링을 의미
• 프로세스는 문제를 정의하는 것으로부터 시작하여 자신만의 가설을 세워야함
• 데이터를 수집하고, 데이터를 정리하고, 데이터를 분석한 다음 주요 이해 관계자에게 제시

Data Analytics vs. Data Analysis

• Analysis - detailed examination of the elements or structure of something
  - 어떤 것의 요소나 구조에 대한 상세한 조사
  - 비즈니스 분석 심리 분석 등과 같이 숫자나 데이터 없이 수행할 수 있음

• Analytics - the systematic computational analysis of data or statistics
  - 데이터 또는 통계의 systematic computational 분석
  • 접두사 "데이터" 없이 사용하더라도 거의 항상 수치(numerical) 조작 및 추론(inference)을 위한 데이터 사용을 의미

1. 몇몇은 Data Analysis 이 과거 데이터를 기반으로 한 추론을 기반으로 하는 반면 Data Analytics는 미래 성과를 예측하기 위한 것이라고 함
2. 이 코스에서는 구분 안함

요약

Based on the goals and outcomes that need to be achieved, there are four primary types of Data Analysis:

• Descriptive Analytics, that helps decode “What happened.”

• Diagnostic Analytics, that helps us understand “Why it happened.”

• Predictive Analytics, that analyzes historical data and trends to suggest “What will happen next.”

• Prescriptive Analytics, that prescribes “What should be done next.”

The Data Analysis process involves:

• Developing an understanding of the problem and the desired outcome.

• Setting a clear metric for evaluating outcomes.

• Gathering, cleaning, analyzing, and mining data to interpret results.

• Communicating the findings in ways that impact decision-making.

---