Introduction to Big Data

📌 IT 기술의 변화

• IT 기술의 주도권이 Data로 이동(빅데이터는 미래 경쟁력과 가치 창출의 원천)

📌 Definition of Big Data

• collection of data sets so large and complex
• 기존의 DBMS나 데이터 처리 방법으로는 처리하기 곤란
  • 정형, 비정형의 데이터 집합 포함
  • capture, storage, search, sharing, transfer, analysis, visualization 기술 포함
• 수집
  • 웹, 백화점, 은행 신용카드 거래, SNS, 스마트폰, IoT, 센서 네트워크(초연결 시대)
• 활용 사례
  • 집계 및 통계

    • 데이터 웨어하우스 : 과거부터 현재까지 수집된 중앙집중적, 전사적 데이터 저장소

    • OLAP(OnLine Analytical Processing)

      : 다양한 각도(다차원 분석 질의)에서 1. 사용자가 직접, 2. 대화식으로, 3. 다양한 도구의 지원으로 정보를 분석하는 과정

      → 저장과 관리는 데이터 웨어하우스에서, 전력적 정보 변환이 OLAP

  • 검색: 색인(Indexing), 질의(Querying)
    • 키워드 기반 검색
    • 패턴 매칭(XML / RDF)
  • 지식 추출
    • 데이터 마이닝 : 대규모의 데이터로부터 특정한 패턴이나 경향을 찾아내는 SW 기술
    • 통계적 모델링
• 3V 모델
  • high-volume : scale
  • high-velocity : speed
    • 데이터가 빠르게 생성되므로, 빠른 분석이 필요 → 데이터 쌓이는 속도보다 분석 속도 늦다면 데이터 누적, 지연, 처리 불가
    • Online Data Analytics
    • 사례

      1. E-Promotions

         : 현재 위치, 과거 구매 이력, 취향 데이터 분석하야 적절한 장소와 시간 등에 따른 promotion

      2. Healthcare monitoring

         : Wearable 장비, 휴대폰 등의 센서를 통한 정보 수집 → 비정상 상태로 판단되면 즉각 조치 필요

  • high-variety : complexity
    • relational cata
    • text data(web), Image, Video
    • Semi-structured data(XML, JSON)
    • Graph Data
    • Streaming Data
    • 하나의 어플리크에선이 다양한 유형의 데이터를 생산 또는 수집
    • 대규모 공공 데이터(online, weather, finance, etc)
    • 이러한 다양한 유형의 데이터들이 통합하여 분석 관리되어야함
• 4V 모델
  • • Veracity (정확성)
  • • Variability (가변성)
• 5V 모델
  • • Value(가치) : 정확성, 시간등과 연관

📌 데이터 분석 개념

• Data Set : 관련된 데이터의 집합
• Data Analysis & Data Mining : 데이터를 분석하여 내재되어 있는 의미나 패턴을 찾아내는 과정
  • 범위 : Descriptive(서술), Diagnostic(진단), Predictive(예측), Prescriptive(처방) Analysis
• Data Analytics : 데이터의 수집과 정돈, 구성, 저장, 관리, 분석, 표현 등 전반적인 포괄 개념
  • Algorithms, SW Tools, Libraries, Techniques, System 들을 모두 포함
• 데이터 생성/활용 모델의 변화

  	데이터 생산 →	데이터 소비
  과거	일부 기업 등	모든 사람
  최근	모든 사람	모든 사람

📌 데이터 유형

• 정형데이터
  • 관계형 데이터처럼 Schema에 따라 저장된 구조화된 데이터
  • 일반적으로 Table 형식으로 RDBMS에 저장
  • 예) 은행 계좌 정보 등의 데이터
• 비정형데이터
  • Schema나 데이터 모델 없이 저장되는 데이터
  • 폭발적으로 증가하는 추세
  • 예) 일반 텍스트나 사진, 동영상 등의 데이터
• 반정형데이터
  • 고정된 필드를 가지고 있지 않고 관계형 데이터 아님
  • 데이터에 스카마나 메타데이터와 같은 구조 정보를 포함하고 있어 일관성 유지
  • 계층적 또는 그래프 기반의 데이터
  • 예) XML, HTML 문서나 JSON, BSON 형태의 데이터
• 메타 데이터
  • 데이터 셋의 특성 및 구조에 대한 정보(데이터에 대한 데이터)
  • 자동으로 생성되어 데이터에 포함되는 경우가 일반적
  • 비정형이나 반정형의 빅데이터 분석에 주요 정보 제공
  • 예) 사진의 해상도, 작성일, 크기 정보, 문서의 작성일, 작성자, 버전 정보 등

📌 Big Data의 이용

• OLTP(OnLine Transaction Processing) → DBMS
  • Transaction 중심으로 데이터를 처리하는 시스템
  • Transaction
    • 한번에 처리되어야 하는 다누이 작업
    • 비교적 짧은 처리 시간(간단한 query)
    • 예) 계좌이체(2번의 데이터 변경)
  • RDBMS와 같은 저장 장치 활용
    • 연산 : READ, WRITE, UPDATE, DELETE
• OLAP(OnLine Analytical Processing) → Data Warehouse
  • 다양한 각도(다차원 분석 질의)에서 1. 사용자가 직접, 2. 대화식으로, 3. 다양한 도구의 지원으로 정보를 분석하는 과정
    • 저장, 관리: 데이터 웨어하우스 이용
    • 연산: READ 중심
    • 분석: Data Mining, Analytics, Decison Making 등 (복잡한 query) → Drill down, Roll up, Pivot …
    • Reporting
• RTAP(Real-Time Analytics Processing) → Big Data Architecture & technology
  • 데이터 웨어하우스
    • 과거부터 현재까지 수집된 중앙집중적, 전사적 데이터 저장소
    • 한번 저장되면 변경이 거의 없음
    • 저장 목적은 분석(OLAP와 상호작용)
    • Business Intelligence(BI)에서 주로 사용
  • 데이터 마트
    • 데이터 웨어하우스에 저장된 데이터의 subset
    • 특정 부서, 사업팀 등 (고객 데이터 마트, 자재 데이터 마트, 재무 데이터 마트 등)
  • ETL(Extract Transform Load; 추출 변환 적재) Process
    • Extract : OLTP, CRM, SCM, ERP database 등으로부터 필요한 데이터를 추출
    • Transform : 규칙 등에 따라 데이터를 수정, 변형하여 원하는 형태로 변환
    • Load L 대상 시스템에 떼이터 적재
    • 데이터 소스로부터 원하는 Object로 데이터를 옮기는 처리 과정
    • 일반적으로 빅데이터 SW들은 ETL Process에 해당하는 기능 포함
• Business Intelligence
  • 기업이나 조직에서 생성된 데이터를 분석
    • 데이터 웨어하우스 활용
  • 기업에서 필요로 하는 데이터의 의미(Insights)를 획득
    • 관리자나 경영진이 활용할 수 있도록, 분석과 표현(시각화)
    • Dashboard나 Reporting tool 등 활용

📌 빅데이터 처리 과정

과정	영역	개요
생성	내부 데이터	데이터베이스, 파일 관리 시스템
	외부 데이터	인터넷으로 연결된 파일, 멀티미디어, 스트림
수집	크롤링	검색 엔진의 로봇을 사용한 데이터 수집
	ETL(Extraction, Transformation, Loading)	소스 데이터의 추출, 전송, 변환, 적재
저장	NoSQL 데이터베이스	비정형 데이터 관리
	스토리지	빅데이터 저장
	서버	초경량 서버
처리	맵리듀스(MapReduce)	데이터 추출
	프로세싱(Processing)	다중 업무 처리
분석	NLP(Neuro Linguistic Programming)	자연어 처리
	기계 학습(Machine Learning)	기계 학습으로 데이터의 패턴 발견
	직렬화(Serialization)	데이터 간의 순서화
표현	가시화(Visualization)	데이터를 도표나 그래픽적으로 표현
	획득(Acquisition)	데이터의 획득 및 재해석

• Google Cloud Platform(GCP)의 4 Stage
  • Insgest(수집) ; 원시 데이터의 수집
  • Store(저장)
  • Process and Analyze(처리와 분석)
  • Explore and Visualize(표현)
• 5단계 처리 과정
  • 수집 : Acquisition(ingest) ✔️ Collecting, aggregating, moving the bid data
    
  • 저장 : Storage & Database
  • 처리 : Processing ✔️ batch, streaming, distributed processing
    
  • 분석 : Analysis ✔️ algorithm, library & system
    
  • 표현 : Visualization