Impala 사용을 위한 HDFS 권한 설정

meenzoon·2022년 5월 27일
0

오류 내용

Impala 4.1.0 버전을 설치 완료한 상태에서
Impala 테스트를 위해
실행한 CREATE TABLE이
다음 오류를 뱉으며 정상 실행되지 않았다.

Impala 계정은 hadoop 그룹에 속해있었으며
refreshUserToGroupsMappings 명령어를 통해
리눅스 사용자 그룹과 매핑을
다시한 상태에서도 해당 오류를 출력했다.

해결 방법

해결 방법은 생각보다 간단했다.
다음과 같이 hdfs acl을 변경함으로서 해결됐다.
hive의 경우 database 생성시
hive 저장 위치에 새로운 디렉토리가 생성되기 때문에
default 명령어를 통해
새롭게 추가되는 파일 및 디렉토리에 대해서도
ACL 설정이 가능하게 해야 적용된다.

hdfs dfs -setfacl -R -m default:user:whitebeard:rwx hdfs:///user/

출처: https://118k.tistory.com/1020

apache impala 빌드 후 사용시 오류

apache hive 3.x 버전대가 설치된 환경에서는
Impala 4.0.0부터는 빌드가 정상적으로 되더라도
Cloudera Hive 3.x를 이용하여 빌드하는데
해당 소스안에는 Apache Hive 4.x를 이용하여
Hive Metastore에 접근하기 때문에 정상적으로
실행되지 않는다.

Impala 버전 관련

현재 Major 버전은 4.0.0 이지만
source를 직접 가져와서 빌드를 하면
4.1.0의 버전이 생성됨.

0개의 댓글