[분석] Glue

devyu·2023년 10월 9일

🌟 SAA 단어장

목록 보기
4/8
post-thumbnail

ETL(추출, 변환, 로드) 작업을 생성, 실행, 모니터링

  • Glue는 추출(extract), 변환(transform), 로드(load) 서비스를 관리하며 이를 ETL 서비스라고 함
  • 분석을 위해 데이터를 준비하고 변환하는 데 유용
  • 완전 서버리스 서비스
  • Glue 주요 기능
    • Glue Job Bookmarks - 새 ETL 작업을 실행할 때 이전 데이터의 재처리를 방지
    • Glue Elastic Views - SQL을 사용해 여러 데이터 스토어의 데이터를 결합하고 복제, 서버리스 서비스
    • Glue DataBrew - 사전 빌드 된 변환을 사용해 데이터를 정리하고 정규화
    • Glue Studio - Glue에서 ETL 작업을 생성, 실행 및 모니터링하는 GUI
    • Glue Streaming ETL - ETL 작업을 스트리밍 작업으로 실행, KDS, Kafka, MSK에서 이를 사용해 데이터 로드
profile
티스토리와 벨로그 사이 줄타기....

0개의 댓글