[Spark] Spark YARN/Standalone 메모리 설정

YARN 설정

• SPARK_DRIVER_MEMORY 는 YARN 모드에서의 driver 를 위한 메모리 설정
• SPARK_EXECUTOR_MEMORY YARN 모드에서의 executor 1개의 메모리 설정

Standalone 설정

• SPARK_WORKER_MEMORY 는 standalone 모드에서 executor 1개의 메모리 설정
• SPARK_DAEMON_MEMORY 는 master, worker 메모리 설정

우선순위

• spark configuration 은 아래 우선순위를 따름
  • 1. 소스코드
  • 2. spark-submit 설정
  • 3. spark_env.sh

reference

• Spark Standalone Docs