Pyspark를 이용한 플랫폼 개발
1.개발 환경 구성
Hadoop 2.7 Hadoop 완전분산모드(Fully-Distributed) Cluster 구성 HBase 1.4.13 HBase 구성 ( Full-distributed ) Spark 2.4 Spark Cluster 구성 Python 및 pip 설치실행서버
2023년 4월 18일
2.PyArrow 0.15.0과 함께 Pandas UDF를 사용할 때 발생하는 호환성 문제
PyArrow 0.15.0과 함께 Pandas UDF를 사용하려고 할때 문제가 발생PyArrow 0.15.0 이슈: PyArrow 0.15.0은 Spark 2.4.x와 호환되지 않습니다. 호환되는 버전을 사용해야 합니다.환경 변수 설정: PyArrow 버전 0.15.0
2023년 9월 19일