AWS DynamoDB 장기 저장을 위해 S3,Glue 사용하기

DynamoDB의 용량이 제한에 다다르는 상황에서 비용을 절감하고 효율성을 높이기 위해, S3와 AWS Glue를 활용하여 데이터를 처리하려고 합니다.
이 과정에서 DynamoDB의 데이터를 S3로 이전한 후, S3에 저장된 데이터를 Athena를 통해 빠르고 쉽게 쿼리할 수 있도록 연, 월, 일 기준으로 정리하였습니다.
이를 통해 DynamoDB의 데이터는 삭제하고, S3에서 효율적인 쿼리 및 분석이 가능하도록 하여 비용과 성능을 최적화하려고 합니다.

1) IAM 역할 생성 및 권한 생성

2) S3 범용 버킷 생성

3) Glue jobs 생성 및 Sources = DynamoDB Targets = S3

4) Glue 스크립트 작성

5) S3 저장되는 형식