[빅데이터]Spark 모듈과 머신러닝

Modules

스파크는 Spark Streaming, SparkSQL, MLlib, GraphX와 같은 모듈을 제공하여 실시간 수집부터 데이터 추출/전처리, 머신러닝 및 그래프 분석까지 하나의 흐름에 가능하도록 개발

• Spark SQL: Spark Wrapper 함수에 SQL 쿼리를 넣어 추출/전처리/분석이 쉽게 가능하도록 지원
• MLlib: 머신러닝 알고리즘 제공 (코드 예시)
• Spark Streaming: 실시간 데이터 처리
• GraphX: 그래프 분석 라이브러리

Spark SQL과 MLlib는 많이 쓰이므로 사용법을 알아두도록 하자.

Reference

• https://wikidocs.net/16565