(ADsP) 3. 빅데이터의 이해

1. 빅데이터 정의

• 일반적 정의
  빅테이터의 '빅(Big)'에는 단순히 양적인 개념뿐만 아니라 복잡하고 다양한 질적인 개념도 포함되어 있다. 일반적으로 빅데이터란 큰 용량과 복잡성으로 기존 애플ㄹ리케이션이나 툴로 다루기 어려운 데이터셋의 집합을 의미한다.

• 가트너(Gartner) 정의
  빅데이터란 향상된 시사점과 더 나은 의사결정을 위해 사용되는 비용 효율이 높고 혁신적이며 대용량, 고속 및 다양성의 특성을 가진 정보 자산을 말한다(2012).

• 매킨지(McKinsey) 정의
  빅데이터란 일반적으로 데이터베이스 소프트웨어가 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터를 말한다(McKinsey Global Institue, 2011).

• IDC 정의
  빅데이터란 다양한 종류의 대규모 데이터에서 낮은 비용으로 가치를 추출하고, 데이터의 초고속 수집과 발굴을 지원하도록 고안된 차세대 기술 및 아키텍쳐를 말한다(2011).

• 일본 노무라연구소 정의
  노무라연구소는 데이터와 데이터 처리, 젖아 및 분석기술에 의미 있는 정보 도출은 물론이고, 그에 필요한 인재나 조직까지도 넓은 의미의 빅데이터에 포함시킬 것을 제안했다.

• 더그 래니(Doug Laney)의 정의(3V)
  빅데이터는 데이터의 양(Volume), 데이터의 유형과 소스의 다양성(Variety), 데이터 수집과 처리 측면에서의 속도(Velocity)가 급격히 증가하면서 나타나는 현상이다.

• 마이어쇤베르크와 쿠키어(Mayer-Schoberg&Cukier)의 정의
  빅데이터란 대용량 데이터를 활용해 작은 용량으로는 얻을 수 없었던 새로운 통찰이나 가치를 추출해내는 일이다. 나아가 이를 활용해 시장, 기업 및 시민과 정부의 관계 등 많은 분야에 변화를 가져오는 일이다.

• 한국 데이터산업진흥원 정의
  빅데이터란 데이터에 대한 기존의 접근 방식으로는 얻을 수 없었떤 통찰과 가치를 창출하는 모든 을 말한다.

2) 빅데이터의 특징

• ⭐더그 래니의 3V⭐
  가트너 그룹의 부회장인 더그 래니는 빅데이터를 데이터의 양(Volume), 데이터의 유형(Variety), 데이터의 생성 및 처리 속도의 증가(Velocity)로 요약하였다.

• ⭐빅데이터의 새로운 특징 4V⭐
  일부 학자들은 더그 래니의 3V에 추가로 Value(가치) 혹은 Veracity(정확성)를 포함해 4V로 빅데이터의 특징을 설명하기도 한다. 여기에 Visualization(시각화), Variability(가변성) 등을 추가하는 견해도 있다.

3) 빅데이터의 출현 배경

(1) 데이터의 양적 증가
(2) 산업계의 변화
(3) 학계의 변화
(4) 관련 기술의 발전

4) ⭐빅데이터의 기능과 변화⭐

• 빅데이터는 "산업혁명의 석탄과 철"
  제조업뿐만 아니라 서비스 분야의 생산성을 획기적으로 끌어올려 사회, 경제, 문화, 생활 전반에 혁명적 변화를 가져올 것으로 기대된다.

• 빅데이터는 "21세기 원유"
  빅데이터도 원유처럼 각종 비즈니스, 공공기관 대국민 서비스, 그리고 경제 성장에 필요한 것으로 정보를 제공하여 산업 전반의 생산성을 향상시키고 새로운 범주의 산업을 만들어낼 것으로 기대된다.

• 빅데이터는 "렌즈"
  렌즈를 통해 현미경이 생물학 발전에 끼쳤던 영향만큼, 빅데이터도 렌즈처럼 산업 발전에 큰 영향을 줄 것으로 기대된다. ( ex : 구글의 Ngram Viewer )

• 빅데이터는 "플랫폼"
  플랫폼은 공동 활용의 목적으로 구축된 유무형의 구조물을 말한다. 빅데이터는 플랫폼으로서 다양한 서드파티 비즈니스에 활용될 것으로 기대된다. ( ex : 페이스북, 카카오톡 등 )

5) ⭐빅데이터가 만들어내는 변화⭐

• 사전처리 -> 사후처리
  데이터를 사전 처리하지 않고, 가능한 많은 데이터를 모으고 데이터를 다양한 방식으로 조합하여 숨은 인사이트를 발견

• 표본조사 -> 전수조사
  IoT, 클라우드 기술의 발전으로 데이터 처리 비용이 감소하게 되면서 데이터 활용 방법이 표본조사에서 전수조사로 변화했다.

• 질 -> 양
  수집 데이터의 양이 증가할수록 분석의 ㅣ 정확도가 높아져 양질의 분석 결과 산출에 긍정적인 영향을 주었다.

• 인과관계 -> 상관관계
  특정한 인과관계가 중요시되던 과거와 달리, 데이터의 양이 급격하게 늘어나면서 상관관계를 통해 특정 현상의 발생 가능성이 포착되고 그에 상응하는 행동을 추천하는 등 상관관계를 통한 인사이트 도출이 점점 확산되고 있다.

[빅데이터로 인한 변화]
데이터 변화 : 데이터의 양, 데이터의 유형, 데이터의 수집 및 처리 기술
기술 변화 : 데이터 철리, 저장, 분석 및 아키텍처 클라우드 컴퓨팅 활용
인재 조직 변화 : 데이터 사이언티스트 수요 증가, 데이터 중심 조직 등장