에러내용: could not connect to any of {192.168.56.101, 21050}}
상황 : impala job이 101번 서버(다운된 서버)로 submit 되는 상황
특정한 impala daemon ip가 아닌,vip나 haproxy를 이용하여 impala deamon에 대해 로드밸런싱이 가능하지만, job이 다수의 호스트를 향해 제출되어, 각각의 호스트가 코디네이터 역할을 수행하는 경우 아래와 같은 주의가 필요하다.
• 많은 수의 호스트가 코디네이터 역할을 하면 각 호스트가 메타데이터 업데이트를 위해 Statestored데몬과 통신하기 때문에 불필요한 네트워크 오버헤드 또는 시간 초과 오류가 발생할 수 있음
• 코디네이터 호스트는 테이블 파티션,데이터 파일에 대한 메타데이터 캐시를 위한 큰 JVM 힙이 필요함.
• 여러 코디네이터들이 각각 테이블을 생성하고 드랍한 경우 해당 데몬에서만 변경된 테이블 정보를 가지고 있어,다른 데몬에서 메타데이터 리프레쉬 필요.
기본적으로 executor 노드 50개당 코디네이터 노드 1명이 적절하다.
관련 옵션
impala daemon_is_coordinator=false
• impala config에서 해당 옵션을 false로 설정하게 되면,각각의 impala daemon이 코디네이터 역할을 하지 않으며,모두 executor로 작동한다.
• 클러스터가 큰 경우 유용하며,이 경우 엣지 노드에 단독 코디네이터를 구성하여 쿼리 조정 및 데이터 파일 처리를 해당 코디네이터로 중앙 집중화 하는 것이 권장된다.
• 근데 ambari에서 위 옵션을 false로 지정해놓으면 impala daemon 백엔드 포트 (21000)가 뜨지 않는다.
true인 경우
false인 경우
조치
살아있는 상태의 daemon으로 잡을 날리면 되긴 한다.
