SQOOP 란?
▶ 구조화된 관계형 데이터 베이스와 아파치 하둡간의 대용량 데이터들을 효율적으로 변환하여 주는 명령 줄 인터페이스(Command-Line Interface) 애플리케이션입니다.
▶ 수십억 줄의 데이터를 빠른 병렬처리 방식으로 하둠에 전송하기 위해 개발되었습니다.
▶ 관계형 데이터베이스(RDB)와 분산 파일 시스템(HDFS) 사이의 양방향 데이터 전송을 위해 설계된 툴입니다.
SQOOP 의 장점은?
데이터의 가져오기와 내보내기를 맵리듀스를 통해 처리하여 장애 허용 능력뿐만 아니라 병렬 처리가 가능합니다.
SQOOP 의 특징은?
▶ 하둡 데이터 처리 플랫폼과 관계형 데이터베이스, 데이터 웨어하우스, 기타 비관계형 데이터 저장소 간에 대용량 데이터를 신속하게 전송할 수 있는 방법을 제공합니다.
▶ 데이터를 HDFS 기반의 스토리지 공간에 직접 저장할 수도 있으며, HBase와 Hive같은 다른 하둡 애플리케이션으로 전송이 가능합니다.
▶ CLI 한 줄로 간단히 실행할 수 있고, 다양한 CLI를 제공하기에 복잡한 RDB의 ETL 작업을 쉘 스크립트로 깔끔하게 작성할 수 있습니다.
