[Spark] Rest API 정리

• UI로도 메트릭 정보를 볼 수 있고, 직접 rest api 요청을 통해 조회 가능하다.

  • Driver 노드의 기본 4040 포트로 접근 가능
    • ex)http://localhost:4040/api/v1/applications
  • 여러 Spark Context 가 존재할 경우 4041, 4042, ... 포트 번호 증가시켜 사용

• applications

  • 모든 spark 애플리케이션 정보

• /applications/[app-id]/jobs

  • 해당 애플리케이션의 모든 job 목록
  • ?status=[running|succeeded|failed|unknown]

• /applications/[app-id]/jobs/[job-id]

  • 해당 job 의 상세 정보

• /applications/[app-id]/stages

  • 해당 애플리케이션의 stage 정보

• /applications/[app-id]/stages/[stage-id]

  • 해당 stage 의 모든 attempt (시도횟수) 목록

• /applications/[app-id]/stages/[stage-id]/[stage-attempt-id]

  • 해당 stage,attempt 상세

• /applications/[app-id]/stages/[stage-id]/[stage-attempt-id]/taskSummary

  • stage attempt 의 모든 task 에 대한 metric 요약

• /applications/[app-id]/stages/[stage-id]/[stage-attempt-id]/taskList

  • stage attempt 의 모든 task 목록

• /applications/[app-id]/executors

  • 애플리케이션의 활성화된(active) executor 목록

• /applications/[app-id]/executors/[executor-id]/threads

  • 활성화된 executor 의 모든 스레드의 stack trace
  • ※ history server 로 사용 불가

• /applications/[app-id]/allexecutors

  • 애플리케이션의 모든 (active/dead 모두) executor 목록

• /applications/[app-id]/storage/rdd

  • 애플리케이션의 stored RDD 목록

• /applications/[app-id]/storage/rdd/[rdd-id]

  • RDD 의 스토리지 상태(storage status) 상세

• /applications/[base-app-id]/logs

  • 애플리케이션의 모든 attempts 에 대한 이벤트 로그를 zip 파일로 다운로드

• /applications/[base-app-id]/[attempt-id]/logs

  • 애플리케이션의 특정 attempts 에 대한 이벤트 로그 다운로드

• /applications/[app-id]/streaming/statistics

  • 스트리밍 컨텍스트에 대한 통계 정보

• /applications/[app-id]/streaming/receivers

  • 전체 스트리밍 리시버 목록

• /applications/[app-id]/streaming/receivers/[stream-id]

  • 스트리밍 리시버 상세 정보

• /applications/[app-id]/streaming/batches

  • 전체 배치 목록 (retained batches)

• /applications/[app-id]/streaming/batches/[batch-id]

  • 배치 상세 정보

• /applications/[app-id]/streaming/batches/[batch-id]/operations

  • 배치의 모든 output operation 목록

• /applications/[app-id]/streaming/batches/[batch-id]/operations/[outputOp-id]

  • operation 의 상세 정보

• /applications/[app-id]/sql

  • 애플리케이션의 모든 쿼리 목록

• /applications/[app-id]/sql/[execution-id]

  • 쿼리에 대한 상세 정보

• /applications/[app-id]/environment

  • 애플리케이션의 환경정보 상세

• /version

  • Spark 버전

reference

• spark monitoring docs