Spark

실행 환경window 11spark 3.4.4conf - log4j2.properties 파일 열기rootLogger.level = info 라고 되어있는데, 이를 rootLogger.level = warn 으로 변경수정 전에는 위와 같은 출력 로그가 많았지만 수정하

SparkConf : 클러스터와 애플리케이션의 설정을 관리하는 데 사용 애플리케이션 이름 : Spark UI에서 식별할 때 사용 : conf = SparkConf().setAppName("MySparkApp") 클러스터 관련 설정 : conf = SparkConf()