[Spark] Python + Spark = PySpark
데이터가 방대해지며 이전에 사용하던 분석 방법들은 처리 속도나 다양한 포맷의 데이터를 처리하는데 한계가 있었습니다. 이러한 한계를 극복하기 위해 개발된 오픈 소스 클러스터 컴퓨팅 프레임워크가 바로 Apache Spark 입니다.
PySpark 는 이러한 Apache Spark 를 친숙한 Python 인터페이스에서 사용할 수 있도록 개발된 프레임워크로 Apache Spark 가 제공하고 있는 많은 기능을 지원하고 있습니다.
PySpark
실시간으로 대규모 데이터를 분산된 환경에서 처리하기 위한 Python용 Apach Spark API
PySpark는 기존에 Spark가 가지고 있는 Pandas API on Spark, Spark SQL, Machine Learning(MLlib), Structured Streaming 등의 라이브러리를 지원합니다.
| 라이브러리 | 설명 |
|---|---|
| Pandas API on Spark | Pandas 호환 분산 데이터프레임 |
| PySpark SQL | SQL 쿼리, DataFrame, Hive 연동 |
| MLlib | 머신러닝 알고리즘, 데이터 전처리, 모델 평가 |
| Structured Streaming | 실시간 데이터 스트림 처리 |
https://medium.com/datatau/hadoop-with-python-pyspark-a65a6f97ddf2
https://spark.apache.org/docs/latest/api/python/index.html
https://velog.io/@newnew_daddy/SPARK17
REFERENCE
PySpark Overview
