데이터란?
우리 생활 모든 곳에 존재.
예를 들어, 우리가 하는 카톡, 주고 받는 영상 등이 모두 다 데이터다.
그리고 조별과제 때 한번씩은 경험해봤을 것이다. 설문조사.
나는 예전에 설문조사를 통해서 가장 많이 선택된 사안으로 문제를 해결한 경험이 있다. 이처럼 데이터는 우리 주위에 존재하고 언제든 만들어 낼 수 있으며 이를 통해 가장 최적의 선택을 할 수 있다.
빅데이터
품질이 좋다는 하에, 크기가 중요하다
웹 검색엔진 개발은 대용량 데이터 처리이다.
- 웹 페이지를 크롤하여 중요한 페이지를 찾아내고 인덱싱하고 서빙한다
데이터 조직의 미션
신뢰할 수 있는 데이터를 가지고 가치를 만드는 일
가치를 만드는 법
1) Decision Science
고품질 데이터를 제공하여 의사 결정권자에게 입력을 제공한다
- data informed decisions: 데이터를 고려한 결정, 과거의 데이터를 중심으로 나아감, 최적화
- data driven decisions: 데이터를 기반한 결정, 탐험 단계
2) Product Science
고품질 데이터를 기반으로 사용자 서비스 경험 혹은 프로세스 최적화
- 머신 러닝과 같은 알고리즘을 통해 사용자 서비스 경험 개선
- 데이터 과학자
데이터 흐름과 데이터 조직
- etl -> data warehouse
- data analyze, dashboard
- data science, experience development
데이터 인프라
데이터 인프라 구축은 데이터 엔지니어가 수행함
ETL(Extract/Transform/Load)
데이터 웨어하우스
- 회사에 필요한 데이터를 모아놓은 중앙 데이터베이스
- 클라우드 옵션
- 오픈소스 기반의 Presto/Hive
데이터 분석
데이터 엔지니어들이 ETL을 가지고 데이터 웨어하우스에 적재함
ETL 데이터를 조합하여 새로운 정보(ELT) 생성
좋은 지표를 정의하고, 대시보드 생성 및 관리, 데이터 기반 리포트 작성
KPI(key Performance Indicator)
- 조직 내에서 달성하고자 하는 목표
- OKR과 같은 목표 설정 프레임워크의 중요한 포인트
시각화 대시보드
- 3A(Accessible, Actionalbe, Auditable)
- 매출액, 월간/주간 액티브 사용자 수..
- Tableau, Power BI
