AWS Glue
AWS의 Serverless ETL 서비스로 아래와 같은 기능 제공한다.
데이터 카탈로그
AWS Glue Data Catalog는 데이터 소스(S3 등) 및 대상의 메타데이터를 대상으로 검색 기능을 제공
이는 주로 S3나 다른 AWS 서비스 상의 데이터 소스를 대상으로 함 (Redshift Spectrum의 경우에는 외부 테이블들)
ETL 작업 생성: AWS Glue Studio
간단한 드래그 앤 드롭 인터페이스를 통해 ETL 작업 생성 가능
사용자는 데이터 소스 및 대상을 선택하고 데이터 변환 단계를 정의하는 스크립트 생성
작업 모니터링 및 로그
AWS Glue 콘솔을 통해 사용자는 ETL 작업의 실행 상태 및 로그를 모니터링 가능
Serverless 실행
AWS Glue는 서버리스 아키텍처를 사용하므로 사용자는 작업을 실행하는 데 필요한 인프라를 관리할 필요가 없음 (Auto Scaling)
.