HIVE로 데이터 살펴보기

jake·2023년 2월 22일
0

HIVE

HDP 2.65를 통해 ambari에 접속 후 하이브를 사용하였다.


접속하면 엄청나게 많은 hadoop ecosystem이 있다. 언제 다 사용할 수 있을지 모르겠다,,
오른쪽 상단에 있는 격자무늬 아이콘을 클릭하면 세부기능이 나타나는데 HIVE VIEW를 클릭하면 된다. HIVE와 HIVE 2.0이 있는데 본인은 HIVE를 사용했다.


sql이랑 인터페이스가 비슷한 창이 뜬다.
왼쪽에는 데이터베이스와 테이블에 관한 정보가 있고 오른쪽 큰 창에는 명령어를 입력하면 된다. 아직 업로드한 테이블이 없으니깐 테이블부터 업로드 하면 된다. 위쪽에 Upload Table 버튼을 클릭


이제 각자 준비한 테이블을 업로드하면 되는데 주의 사항이 있다!
화면 중간에 톱니바퀴를 눌러보자


Field Delimiter라는 항목이 나오는데 데이터 구분자를 뜻한다. 업로드하려는 테이블의 데이터들이 무엇으로 구분되어 있는지 확인해야 한다. 예를 들어
유재석    176   65
조세호    169   75
이렇게 이름, 키, 몸무게가 TAB으로 구분되어 있으면 구분자인 TAB에 맞게 Field Delimiter를 설정해야 한다.

유재석|176|65
조세호|169|75
이렇게 구분자가 "|"면 마찬가지로 Field Delimiter를 "|"로 설정해야 한다.

구분자를 설정했으면 이제 테이블을 업로드하자.


테이블을 업로드하면 Databases에 정보가 업데이트된다(안되면 Database Explorer 옆에 있는 바퀴버튼 클릭).

default라는 데이터베이스 안에 division이라는 테이블을 만들었다. division 테이블에는 brand, product_name, price라는 칼럼들이 있다.

칼럼들을 살펴보기 위해 코드를 작성해보자. sql이랑 똑같다.

SELECT * FROM division LIMIT 100;


기다리면 이렇게 업로드한 테이블이 잘 뜬다.

0개의 댓글