📒 Big-Data

📌 빅데이터 정의

• "서버 한대로 처리할 수 없는 규모의 데이터"
  Pandas -> Spark

• "기존의 SW로는 처리할 숭벗는 규모의 데이터"

• 대표적인 기존SW Oracle이나 MySQL과 같은 관계형 DB

  • 분산환경을 염두에 두지 않는다.
  • Scale-up 접근방식(vs. Scale-out)
    -> 메모리추가, CPU추가, 디스크 추가)

• 4V

  • Volume: 데이터의 크기 -> 대용량

  • Velocity: 데이터의 처리 속도

  • Variety: 구조화/비구조화 데이터

  • Veracity: 데이터의 품질

• 디바이스 데이터

  • 모바일 디바이스
    -> 위치 정보
  • 스마트 TV
  • 각종 센서데이터(Iot)
  • 네트워킹 디바이스

• 웹

  • 수십 이상의 웹 페이지 존재-> 온갖 종류의 지식의 바다

  • 웹 검색엔진 개발은 진정한 대용량 데이터처리

    • 웹 페이지를 크롤하여 중요한 페이지를 찾아내고(Page rank) 인덱싱하고 서빙

  • 구글이 빅데이터 기술의 발전에 지대한 공헌

  • 사용자 검색어와 클릭 정보 자체도 대용량

    • 이를 Mining하여 개인화 혹은 별도 서비스 개발이 가능하다.
      -> 검색어를바탕으로한 트렌드 파악, 통계 기반 번역,...

  • 요즘은 웹 자체가 NLP 거대 모델 개발의 훈련 데이터로 사용되고 있다.

---

📌 빅데이터 특징

• 큰 데이터를 손실없이 보관할 방법이 필요하다 -> Strage
  -> 큰 데이터 저장이 가능한 분산 파일 시스템이 필요하다.

• 처리 시간이 오래 걸린다. -> 병렬처리
  -> 병렬처리가 가능한 분산 컴퓨팅 시스템이 필요하다.

• 이런 데이터들은 비구조화된 데이터일 가능성이높다. ->SQL만으로는 부족하다.
  -> 웹 로그 파일
  -> 비구조화 데이터를 처리할방법이 필요하다.

결국 다수의 컴퓨터로 구성된 프레임워크가 필요하다.

• 대용량 분산 시스템

  • 분산 환경 기반(1대 혹은 그 이상의 서버로 구성)
    -> 분산 파일 시스템과 분산 컴퓨팅 시스템이 필요하다.

  • Fault Tolerance
    -> 소수의 서버가 고장나도 동작해야한다.

  • 확장이 용이해야한다.
    -> Scale Out이 되어야 한다.