[1] 2-1 빅데이터의 이해

1. 빅데이터의 이해

가. 빅데이터 정의

1) 관점에 따른 정의

• 3V로 요약되는 데이터 자체 특성에 초점을 둔 좁은 범위의 정의
  양(Volume): 센싱데이터, 비정형데이터
  다양성(Variety): 정형, 비정형데이터(영상, 사진)
  속도(Velocity): 원하는 데이터의 추출 및 분석속도
  4V: 가치(Value), 시각화(Visualization), 정확성(Veracity)
• 데이터 처리, 분석 기술적 변화까지 포함된 중간 범위의 정의
  데이터 처리, 저장, 분석 기술 및 아키텍처
  클라우드 컴퓨팅 활용(aws, gcp 등)
• 인재, 조직 변화까지 포함한 넓은 관점에서의 정의
  Data Scientist 같은 새로운 인재 필요
  데이터 중심 조직
  

2. 출현 배경과 변화

가. 출현 배경

• 3가지 출현 배경
  산업계: 고객데이터 축적/ 데이터에 숨어있는 가치 발굴
  학계: 거대 데이터 활용, 과학 확산/ 아키텍처 및 통계 도구 발전
  기술발전: 관련기술의 발달/ 디지털화, 저장기술 발달, 클라우드 컴퓨팅 등

• ICT 발전과 빅데이터의 출현
  데이터규모: EB(Exa Byte) -> ZB(Zetta Byte) -> ZB 본격화시대
  데이터유형: 정형데이터 -> 비정형데이터 -> 사물정보, 인지정보
  데이터특성: 구조화 -> 다양성, 복합성, 소설 -> 현실성, 실시간성

3. 빅데이터의 기능

가. 빅데이터에 거는 기대를 표현한 비유

1. 산업혁명의 석탄, 철
2. 21세기의 원유
3. 렌즈
4. 플랫폼

4. 빅데이터가 만들어 내는 본질적인 변화

가. 과거에서 현재로의 변화

1. 사전처리 -> 사후처리
   가능한 많은 데이터를 모으고 그 데이터를 다양한 방식으로 조합해 숨은 정보 탐색
2. 표본조사 -> 전수조사
   데이터 수집 비용 감소 + 클라우드 컴퓨팅 기술의 발전으로 데이터 처리 비용 감소 -> 전수조사를 통해 샘플링이 주지 못하는 패턴, 정보 발견하는 방식으로 발전
3. 질 -> 양
   데이터가 지속적으로 추가될 경우 양질의 정보가 오류 정보보다 많아 전체적으로 좋은 결과가 산출됨
4. 인과관계 -> 상관관계
   상관관계 분석을 통한 인사이트가 인과관계에 의한 미래예측을 앞서감