Could not create files in any configured scratch directories (--scratch_dirs=) on backend hostname:22000, 0 of scratch is currently in use by this Impala Daemon ( 0 by this query ).
고객사 디스크가 깨져서.. 복구 후 해당 에러 발생
scratch directory
임팔라 작업에서, 대규모 정렬,조인,집계,분석 쿼리 실행 시의 중간 단계의 파일이 /tmp/impala-scratch 디렉토리에 쓰인다.이 파일들은 해당 작업이 끝나면 제거된다. 다중 동시 쿼리 작업시의 중간 파일들은 서로 다른 이름으로 scratch 디렉토리에 쓰이게 되며, 해당 디렉토리 정보는 impalad 실행 파일에서 설정할 수 있다.
원인
scratch_dirs가 없어서 발생한 에러.디스크 교체 작업 후 기존에 설정된 scratch_dirs인 /hadoop/impala 디렉토리가 존재하지 않아 발생
조치
디렉토리 생성
sudomkdir /hadoop/impala
sudochown -R impala:hadoop /hadoop/impalaimpalad 수정
sudo vi /usr/TeraONE/current/impala-shell/bin/impalad--scratch_dirs=/hadoop/impala로 수정 후해당 서버 impala daemon 재기동.
scratch_dirs에 적용된 디렉토리가 존재해야 하고 impala 유저는 해당 디렉토리에 대해 r+w권한이 있어야 한다.
천천히