하둡 클러스터 도전기(5) - HIVESERVER

과거 우리팀(지금 전부 사라짐)은 데이터를 여기저기 적재 놓도록 시스템을 구성했다.
윈도우 서버, S3 여러 버킷, 클라우드 서버, DW 등등
적재 방식 형식도 워낙 다양하다.

이 모든 일이 내의 입사 전에 생겼으며
혼자 모니터링 할 엄두가 안난다.
그래서 ETL 도구, EXTERNAL TABLE 등을 활용 하고
HIVESERVER로 배포하고자 한다.
나중에 대시보드를 붙일 계획이다.

HIVESERVER 구동

hive --service metastore
hiveserver2

beeline 테스트

beenline> !connect 'jdbc:hive2//{url}:{port}/'
beeline -u jdbc:hive2://localhost:10000

CSV 파일 external table 만들기

CREATE EXTERNAL TABLE test.keyword(
    id integer,
    keyword string,
    period date
    )
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE
LOCATION '/user/hive/warehouse/keyword'
TBLPROPERTIES ("skip.header.line.count"="1");