spark standalone

standalone cluster - default

$ cd /skybluelee/spark3
$ ./sbin/start-master.sh
$ ./sbin/start-worker.sh spark://spark-master-01:7177

각 포트 번호 등은

$ vi /skybluelee/spark3/conf/spark-env.sh

에서 설정한 값이 그대로 나옴

standalone cluster - Configuration option

./sbin/start-master.sh --host spark-master-01 --port 7777 --webui-port 8188

master web UI: http://spark-master-01:8188 로 변경

$ ./sbin/start-worker.sh spark://spark-master-01:7777 --host spark-master-01 --port 12345 --webui-port 8042 --cores 4 --memory 4G --work-dir ./work_dir_4_worker

master web UI의 Workers(1)에서 변화 확인