# hive

33개의 포스트
post-thumbnail

[Flutter] Hive를 이용한 데이터 저장

아니 이렇게 간편하고 성능까지 좋은 Local DB가 있다고?

2022년 6월 16일
·
0개의 댓글
post-thumbnail

[Flutter] Hive 를 이용한 데이터 저장

Flutter 개발을 하다보면 로컬 Database 를 사용해야 하는 경우가 종종 생긴다. 이 경우 Flutter 공식 홈페이지에서는 SQLite 를 안내하지만, 조금 아쉬운 감이 있다. Hive 는 이런 SQLite 의 아쉬움점을 보완하는 No SQL 기반 Datab

2022년 5월 24일
·
2개의 댓글

Apache Hive - Apache HBase 연동

$hive --auxpath $HIVE_HOME/lib/hive-hbase-handler-2.3.2.jar,\\$HIVE_HOME/lib/zookeeper-3.4.6.jar,$HIVE_HOME/lib/guava-14.0.1.jar \\\--hiveconf hbase.m

2022년 5월 4일
·
0개의 댓글

[데이터] Hive 로컬/분산 모드

현재 클러스터를 테스트/운영으로 구성을 하였다. 두 서버의 차이는 모두 같지만단지 task노드의 인스턴스 개수뿐,,, ( 운영 : 2, 테스트 : 1)이때 발생한 이슈가 있는데 같은 Hive쿼리의 속도가 너무 차이가 크게 발생하였다.운영 서버 : 1분 12초테스트 서버

2022년 5월 2일
·
0개의 댓글

[Python] 도커에 Notebook 띄우고 hive 연결

해당 예제는 도커에 Python - Notebook을 띄우고 Hive를 연결하여 데이터가 나오기 까지의 예제이다.도커허브에서 anaconda3을 기준으로 pull 받는다.docker pull continuumio/anaconda31차적으로 정상동작하는지 띄워본다.정상

2022년 5월 2일
·
0개의 댓글

[데이터] Hue에서 Workflow 구성하기

해당 페이지에서는 현재 재직중인 회사 라이픽에서 데이터 통계를 내기 위해 진행했던 작업에 대해 기술 하고자 한다.작업 순서는 다음과 같다.PostgreSQL의 DB 테이블을 Hive로 이관(Import)한다.프로세스 실행시마다 증분되거나 변경되는 데이터를 최신데이터로

2022년 4월 29일
·
0개의 댓글

Apache Hive - partition, bucket

Hadoop echosystem의 일부로, Apache Hadoop위에서 SQL을 사용하여 분산된 스토리지에 저장된 데이터에 대해 쿼리를 할 수 있는 데이터 웨어하우스 시스템이다. Hive는 hadoop 환경에서 복잡한 map-reduce 코드 대신에 SQL과 유사한

2022년 4월 23일
·
0개의 댓글
post-thumbnail

Error: (conn=335) Table 'CTLGS' already exists (state=42S01,code=1050)

mysql에 hive 스키마를 생성하려고 schematool -initSchema -dbType mysql 명령어를 사용하니 다음과 같은 에러가 나왔다. 위 에러는 database의 이름이 중복되었기 때문에 발생한 에러이다.다음과 같이 해결하였다.

2022년 4월 1일
·
0개의 댓글
post-thumbnail

com.ctc.wstx.exc.WstxParsingException: Illegal character entity: expansion character (code 0x8 at [row,col,system-id]:[3215,96,"file:/home/hadoop/hive-3.1.2/conf/hive-site.xml"]

hive를 실행하였더니 다음과 같은 에러가 발생하였다.에러에서 나온대로 hive-site.xml의 3215번째 줄을 보았더니 다음과 같이 이상한 문자가 있어 빼주었다.

2022년 3월 30일
·
0개의 댓글
post-thumbnail

Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)

hive를 실행시켰더니 다음과 같은 에러가 발생하였다. guava-19.0.jar를 guava-27.0-jre.jar로 바꾸었더니 해결되었다.

2022년 3월 30일
·
0개의 댓글
post-thumbnail

Hadoop eco system의 발전 과정 1부 - Hive 까지

데이터 엔지니어로 일하면서 옆에서 지켜본 빅데이터 처리 시스템의 발전 상을 간략하게나마 정리해보았습니다. 시스템들의 정확한 런칭 시점을 조사하거나 개발자의 의견을 듣고 적는 내용이 아니므로 개인적인 가설이 많이 들어가 있습니다. 회사에서 신입들을 대상으로 설명을 해줄

2022년 2월 15일
·
0개의 댓글

HIVE-메모리와 러닝타임 확인

위의 코드를 실행 후 쿼리를 실행하면 메모리와 러닝타임 값을 확인 할 수 있다."PHYSICAL_MEMORY_BYTES:" 값을 통해 용량 확인이 가능하다."Time taken:" 값을 통해 총 쿼리 실행 시간을 확인 할 수 있다.

2022년 2월 14일
·
0개의 댓글

[Hive] tblproperties( 'skip.header.line.count'='1') 사용 시 주의할 점

애증의 tblproperties('skip.header.line.count'='1')

2022년 2월 10일
·
0개의 댓글

[Hive Homebrew 설치 및 설정]

Hive Homebrew 설치 및 설정 과정

2022년 1월 30일
·
0개의 댓글

[Hadoop] Hive 설치 및 시작 (MariaDB 기반)

마리아db설치 실행 확인 mysql -u root -p https://devocean.sk.com/blog/techBoardDetail.do?ID=163549 mariadb 시작 서비스 시작 systemctl start mariadb.service MariaDB

2022년 1월 28일
·
0개의 댓글

[Hive] Hive 의 특징

친숙한 SQL 문법을 사용대화형 프롬프트로 쿼리문 사용 가능Hive QL 을 통해 일반적인 RDB처럼 SQL문을 통해 데이터 조회클러스터에 적재된 빅데이터에 작업 가능복잡하게 MapReduce를 직접 하는 대신 SQL 로 쉽게 사용실시간성 쿼리에 유용큰 데이터셋 전체에

2022년 1월 10일
·
0개의 댓글
post-thumbnail

DB, DBMS, RDBMS를 한페이지로 정리!

DB, DBMS, RDBMS에 대해서 한번에 정리가 필요한사람! 세상에 DBMS 종류가 이렇게 많았구나..

2021년 11월 27일
·
0개의 댓글
post-thumbnail

hiveserver2 실행

1. hive log 찾기 2. hive metastore 실행

2021년 10월 21일
·
0개의 댓글
post-thumbnail

hive sql

hive 테이블을 이용하여 hdfs에 저장된 json파일들을 읽는 방법hdfs경로의 파티션이(dt=20200326)와 같은 경우가 아니므로 직접 파티션과 hdfs 경로 매핑필요.https://heum-story.tistory.com/141

2021년 10월 10일
·
0개의 댓글