# sqoop

5개의 포스트
post-thumbnail

[Sqoop] Sqoop Export Error 해결하기

applicationId = application_1652259389202_0189추가 옵션은 --input-null-string과 --input-null-non-string이 있으며 전체적인 커맨드를 보면 다음 아래와 같이 작성됨

3일 전
·
0개의 댓글

스쿱(Sqoop)

회사의 주요 데이터는 대부분 RDBMS에 저장되어 있다. 스쿱(Sqoop)은 RDBMS에서 HDFS로 데이터를 보내는 작업과 HDFS에서 RDBMS로 데이터를 보내는 작업을 쉽게 처리해주는 오픈소스 도구이다. 스쿱은 내부적으로 RDBMS의 테이블에서 행을 추출하는 맵

2022년 4월 29일
·
0개의 댓글

[데이터] Hue에서 Workflow 구성하기

해당 페이지에서는 현재 재직중인 회사 라이픽에서 데이터 통계를 내기 위해 진행했던 작업에 대해 기술 하고자 한다.작업 순서는 다음과 같다.PostgreSQL의 DB 테이블을 Hive로 이관(Import)한다.프로세스 실행시마다 증분되거나 변경되는 데이터를 최신데이터로

2022년 4월 29일
·
0개의 댓글
post-thumbnail

[Hadoop] SQOOP 설치

이렇게 나오면 성공 sqoop eval --driver "com.mysql.jdbc.Driver" --connect "jdbc:mysql://localhost:3306" --query "select \* from fruits_db.fruits" --username "r

2022년 2월 4일
·
0개의 댓글

[Hadoop] Sqoop 개요

SQL + Hadoop 합쳐 만든 이름데이터세트를 HDFS 로 가져오거나 내보내기.ex) MySQL, PostGres 와 같은 데이터베이스에 가져와 MapReduce를 수행, HDFS 로 적재sqoop import --connect jdbc:mysql://localho

2022년 1월 11일
·
0개의 댓글