[BigData] Ubuntu(EC2)에 Apache Hive 3.1.2를 설치해보자

1. Hive 다운로드 후 압축 해제하기

wget https://downloads.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
tar xzf apache-hive-3.1.2-bin.tar.gz

https://downloads.apache.org/hive/
해당하는 버전 파일 다운로드 후 압축 해제

2. .bashrc 환경 변수 설정

vim .bashrc

맨 아래에 Hive 환경변수 추가

export HIVE_HOME=“/home/유저이름/apache-hive-3.1.2-bin”
export PATH=$PATH:$HIVE_HOME/bin

변경 환경 적용

source ~/.bashrc

3. hive-config.sh

Hadoop HDFS와 Hive 연결

vim $HIVE_HOME/bin/hive-config.sh

하단에 환경변수 추가

 export HADOOP_HOME=/usr/local/hadoop
 (자신의 하둡 폴더를 지정하면 된다)

4. HDFS에 Hive 폴더 생성

Hadoop 실행

start-all.sh

Hive Process의 중간 데이터 결과를 저장할 tmp 폴더 만들기

hdfs dfs -mkdir /tmp
hdfs dfs -chmod g+w /tmp
hdfs dfs -ls /

Hive와 관련된 테이블 저장할 Warehouse 폴더 만들기

hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -chmod g+w /user/hive/warehouse
hdfs dfs -ls /user/hive

5. hive-site.xml 설정

property 추가

cd $HIVE_HOME/conf
cp hive-default.xml.template hive-site.xml
vim hive-site.xml

<property>
	<name>system:java.io.tmpdir</name>
	<value>/tmp/hive/java</value>
</property>

<property>
	<name>system:user.name</name>
	<value>${user.name}</value>
</property>

vim 에디터에서 / 입력 후 javax.jdo.option.ConnectionURL 입력하여 property 위치 찾기

value를 jdbc:derby:/home/유저이름/apache-hive3.1.2-bin/metastore_db;databaseName=metastore_db;create=true와 같이 변경

6. derby database 시작

$HIVE_HOME/bin/schematool -initSchema -dbType derby

🚫 Error 발생

java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(

hadoop과 hive의 guava version 호환성 문제 때문에 생기는 에러
두개를 똑같이 맞춰준다.

hive의 guava 삭제 후, hadoop의 guava.jar 복사한다

rm $HIVE_HOME/lib/guava-19.0.jar
 cp $HADOOP_HOME/share/hadoop/hdfs/lib/guava-27.0-jre.jar

다시 derby 시작

$HIVE_HOME/bin/schematool -initSchema -dbType derby

🚫 hive-site.xml에 illegal character 에러

cd $HIVE_HOME/conf
vim hive-site.xml

중간에 을 지워준다

다시 derby 시작

$HIVE_HOME/bin/schematool -initSchema -dbType derby

실행완료!

7. Hive 시작하기

hive

Reference . https://spidyweb.tistory.com/215