fault_poller_user_name_not_found

Error

• databricks를 사용하고 있으며 매일 배치가 실행되는데 shared cluster에 paramiko library 등 여러가지가 설치되지 않아 job fail이 떴다. 라이브러리 설치 에러를 보니 다음과 같은 에러였다.

  databricks library installation failed after pending for 0 minutes since cluster entered running state. error code: fault_poller_user_name_not_found.

원인

• 원인은 user_id가 만료되어서 난 error인것 같다.
• 데이터브릭스에서 id는 만료가 없지만 single sign on으로 회사의 인증을 통해 로그인을 하도록 구축하였고 해당 cluster를 만든 사람의 회사 계정이 만료가 되어 연동 되어 있는 데이터브릭스 계정에 로그인을 할 수 없었고 library 설치 권한이 없어 결국 library를 설치하지 못한 케이스이다.

해결

• shared cluster를 공동 계정으로 생성 하고 계정 만료기간을 길게 했다.
• 회사 계정은 3개월 마다 비밀번호를 변경해야하기 때문에 3개월 주기로 갱신이 될 것이다.