spark 로 저장한 parquet 파일을 하이브 익스터널 테이블로 올려야한다 (추후에 jdbc를 통해 api 를 제공할 예정이기 때문에 테이블화가 되어 있어야한다.)
간단하다.
beeline 접속 후 (좀 좋은... UI 제공좀 해줬으면 좋겠다.)
beeline -u jdbc:hive2://localhost:10000/default
CREATE EXTERNAL TABLE testtable1(
firstname string ,
middlename string ,
lastname string ,
id string ,
gender string ,
salary integer
)
STORED AS PARQUET
LOCATION 'hdfs://private-dns:8020/usr/livy/testdir1/';
로 만들어주고
select 수행시
+-----------------------+------------------------+----------------------+----------------+--------------------+--------------------+
| testtable1.firstname | testtable1.middlename | testtable1.lastname | testtable1.id | testtable1.gender | testtable1.salary |
+-----------------------+------------------------+----------------------+----------------+--------------------+--------------------+
| James | | Smith | 36636 | M | 3000 |
| Michael | Rose | | 40288 | M | 4000 |
| Robert | | Williams | 42114 | M | 4000 |
| Maria | Anne | Jones | 39192 | F | 4000 |
| Jen | Mary | Brown | | F | -1 |
+-----------------------+------------------------+----------------------+----------------+--------------------+--------------------+
깔끔하다