# sqoop

11개의 포스트

Sqoop의 은퇴 이유에 대해 정리된 글

https://hazel-developer.tistory.com/293

2023년 2월 19일
·
0개의 댓글
·
post-thumbnail

Sqoop 명령어 옵션 모음

공통 명령어 옵션, import. export 옵션 리스트

2022년 12월 30일
·
0개의 댓글
·
post-thumbnail

Sqoop (스쿱) 이란?

스쿱(Sqoop)은 구조화된 관계형 데이터베이스(RDBMS)와 아파치 하둡간의 대용량 데이터들을 효율적으로 변환해주는 명령 줄 인터페이스(Command-Line Interface) 애플리케이션이다.

2022년 12월 27일
·
0개의 댓글
·
post-thumbnail

SQOOP

▶ 구조화된 관계형 데이터 베이스와 아파치 하둡간의 대용량 데이터들을 효율적으로 변환하여 주는 명령 줄 인터페이스(Command-Line Interface) 애플리케이션입니다.▶ 수십억 줄의 데이터를 빠른 병렬처리 방식으로 하둠에 전송하기 위해 개발되었습니다.▶ 관계형

2022년 10월 7일
·
0개의 댓글
·
post-thumbnail

Sqoop export error

👉 Sqoop을 사용하여 Hive to MySQL 마이그레이션하려는 분👉 Ubuntu 환경에서 구축하시는 분Sqoop export 시, 오류 발생 확인NameNode의 주소로 WEB HDFS 접속디렉터리 내, 로그 파일 확인필자의 오류 -> MySQL 접근 권한My

2022년 10월 4일
·
0개의 댓글
·
post-thumbnail

Sqoop SQL Server to Hive

👉 SQL Server 데이터를 Hive로 옮기시려는 분첫 번째 마이그레이션 이후, 데이터를 계속 덮어쓰는 방식을 사용하다가, 너무 답답해서 이어쓰는 방식을 채택시계열 데이터가 기반일 때, 정말 유용하다❗❗ 강추 ❗❗❗❗'load data inpath' 없이 Hive

2022년 7월 21일
·
0개의 댓글
·
post-thumbnail

[Sqoop] Sqoop Export Error 해결하기

applicationId = application_1652259389202_0189추가 옵션은 --input-null-string과 --input-null-non-string이 있으며 전체적인 커맨드를 보면 다음 아래와 같이 작성됨

2022년 5월 23일
·
0개의 댓글
·

스쿱(Sqoop)

회사의 주요 데이터는 대부분 RDBMS에 저장되어 있다. 스쿱(Sqoop)은 RDBMS에서 HDFS로 데이터를 보내는 작업과 HDFS에서 RDBMS로 데이터를 보내는 작업을 쉽게 처리해주는 오픈소스 도구이다. 스쿱은 내부적으로 RDBMS의 테이블에서 행을 추출하는 맵

2022년 4월 29일
·
0개의 댓글
·

[데이터] Hue에서 Workflow 구성하기

해당 페이지에서는 현재 재직중인 회사 라이픽에서 데이터 통계를 내기 위해 진행했던 작업에 대해 기술 하고자 한다.작업 순서는 다음과 같다.PostgreSQL의 DB 테이블을 Hive로 이관(Import)한다.프로세스 실행시마다 증분되거나 변경되는 데이터를 최신데이터로

2022년 4월 29일
·
0개의 댓글
·
post-thumbnail

[Hadoop] SQOOP 설치

이렇게 나오면 성공 sqoop eval --driver "com.mysql.jdbc.Driver" --connect "jdbc:mysql://localhost:3306" --query "select \* from fruits_db.fruits" --username "r

2022년 2월 4일
·
0개의 댓글
·

[Hadoop] Sqoop 개요

SQL + Hadoop 합쳐 만든 이름데이터세트를 HDFS 로 가져오거나 내보내기.ex) MySQL, PostGres 와 같은 데이터베이스에 가져와 MapReduce를 수행, HDFS 로 적재sqoop import --connect jdbc:mysql://localho

2022년 1월 11일
·
0개의 댓글
·