Spark Configuration

pnpy6elp·2022년 10월 29일
apache sparkbigdataspark
0

Distributed System

목록 보기
3/4

Spark configuration

  • Spark의 property, memory, core 등을 설정하고자 하면 spark-default.conf, pyspark(혹은 자신이 쓰는 shell), spark-submit, SparkConf 파일을 수정하면 된다.
  • Property 적용 순서는 SparkConf, shell 파일, spark-submit, spark-default.conf
profile
pnpy6elp
Distributed b2ng
이전 포스트

Tweet classification in SparkNLP with BERT

다음 포스트

Spark 돌리다가 만난 에러들 정리

0개의 댓글