빅데이터란? (2)

지난 포스팅 빅데이터란? (1)과 이어집니다

빅데이터가 만들어 내는 본질적인 변화

1. 사전처리 > 사후처리

• 필요한 정보만 수집하고 필요하지 않은 정보를 버리는 시스템에서 가능한 많은 데이터를 모으고 그 데이터를 다양한 방식으로 조합해 숨은 정보를 찾아낸다.

2. 표본조사 > 전수조사

• 데이터 수집 비용의 감소와 클라우드 컴퓨팅 기술의 발전으로 데이터 처리비용이 감소하게 되었다. 이로 인해 표본을 조사하는 기존의 지식 발견 방식에서 전수조사를 통해 샘플링이 주지 못하는 패턴이나 정보를 발견하는 방식으로 데이터 활용 방법이 변화되었다.

3. 질 > 양

• 데이터가 지속적으로 추가될 경우 양질의 정보가 오류 정보 보다 많아 전체적으로 좋은 결과 산출에 긍정적인 영향을 미친다는 추론에 바탕을 둔 변화가 나타나고 있다.

4. 인과관계 > 상관관계

• 상관관계를 통해 특정 현상의 발생 가능성이 포착되고, 그에 상응하는 행동을 하도록 추천되는 일이 점점 늘어나고 있다.
• 이처럼 데이터 기반의 상관관계 분석이 주는 인사이트가 인과관계에 의한 미래 예측을 점점 더 압도해 가는 시대가 도래하게 될 것으로 전망된다.

통계 분석 vs 빅데이터 분석

빅데이터 분석 5단계

1. 분석 기획

• 비즈니스 이해 및 범위 설정
• 프로젝트 정의 및 계획 수립
• 프로젝트 위험 계획 수립

2. 데이터 준비

• 필요데이터 정의
• 데이터 스토어 설계
• 데이터 수집 및 정합성 검정

3. 데이터 분석

• 분석용 데이터 준비
• 텍스트 분석
• 탐색적 분석
• 모델링
• 모델 평가 및 검증
• 모델 적용 및 운영 방안 수립

4. 시스템 구현

• 설계 및 구현
• 시스템 테스트 및 운영

5. 평가 및 전개

• 모델 발전계획 수립
• 프로젝트 평가 및 보고

분석주제의 4가지 유형

분석은 분석의 대상(What)과 분석의 방법(How)에 따라서 4가지로 나누어진다. 분석의 대상을 모르고 분석 방식을 알고 있는 경우 Insight 유형이다.

• Top-Down 접근법(하향식) : 분석 과제가 주어지고, 이에 대한 해법을 찾기 위해 각 과정이 체계적으로 단계화되어 수행하는 방식. 현황분석을 통해 기회나 문제를 탐색하고, 문제 정의, 해결방안 탐색, 타당성 검토를 거쳐 분석 과제를 도출

• Bottom-up 접근법(상향식) : 문제의 정의 자체가 어려운 경우 데이터를 기반으로 문제를 지속적으로 개선하는 방식. 비지도 학습 방법으로 데이터 분석의 목적이 명확히 정의된 형태의 특정 필드의 값을 구하는 것이 아니라 데이터 자체의 결합, 연관성, 유사성 등을 중심으로 데이터의 상태를 표현하는 것