[Spark] Failed to bind SparkUI 발생 원인 및 해결방안

• spark-submit 으로 job 제출시, Spark 에서는 WebUI port 를 할당하려 시도함
  • 이미 실행중인 job 이 있을 경우, port 를 중가시키며 탐색
  • spark.port.maxRetries 옵션을 통해 최대 횟수를 제어, 기본값은 16
    • -> spark job 이 16개 이상일 경우 ui port 를 할당받지 못해 중단되는 현상 발생

해결방안

• web ui 가 필요하지 않다면, --conf spark.ui.enabled=false 옵션을 추가하여 web ui port 할당을 받지 않고 job 을 실행시키도록 하여 해결
• web ui 가 꼭 필요하다면,
  • 동시 실행되는 job 수가 너무 많아지지 않도록 하거나,
  • spark.port.maxRetries 옵션을 수정하여 늘려 대응

reference

• 공식 Docs
• ui disable 옵션