HIVE External Table Test

록스블로그·2023년 10월 31일
0

spark 로 저장한 parquet 파일을 하이브 익스터널 테이블로 올려야한다 (추후에 jdbc를 통해 api 를 제공할 예정이기 때문에 테이블화가 되어 있어야한다.)

간단하다.
beeline 접속 후 (좀 좋은... UI 제공좀 해줬으면 좋겠다.)

beeline -u jdbc:hive2://localhost:10000/default
CREATE EXTERNAL TABLE testtable1(
firstname string ,
middlename string ,
lastname string ,
id string ,
gender string ,
salary integer 
 )
STORED AS PARQUET
LOCATION 'hdfs://private-dns:8020/usr/livy/testdir1/'; 

로 만들어주고
select 수행시

+-----------------------+------------------------+----------------------+----------------+--------------------+--------------------+
| testtable1.firstname  | testtable1.middlename  | testtable1.lastname  | testtable1.id  | testtable1.gender  | testtable1.salary  |
+-----------------------+------------------------+----------------------+----------------+--------------------+--------------------+
| James                 |                        | Smith                | 36636          | M                  | 3000               |
| Michael               | Rose                   |                      | 40288          | M                  | 4000               |
| Robert                |                        | Williams             | 42114          | M                  | 4000               |
| Maria                 | Anne                   | Jones                | 39192          | F                  | 4000               |
| Jen                   | Mary                   | Brown                |                | F                  | -1                 |
+-----------------------+------------------------+----------------------+----------------+--------------------+--------------------+

깔끔하다

profile
어려움에 성장하는 데이터 엔지니어

0개의 댓글