[AWS] Migration: DataSync / Transfer Family / Storage Gateway / Replication Agent / Data Pipeline

AWS DataSync

주로 대량의 데이터를 빠르고 안전하게 전송하는 데 사용되며, 파일 시스템 간의 동기화를 위해 설계

• 자동화된 데이터 전송: 데이터 전송 작업을 예약하고 자동화 가능, 데이터 양이 크거나 주기적으로 전송해야 하는 경우에 유용
• 변경된 데이터만 전송(증분 백업): 이미 전송된 데이터는 제외하고 변경된 데이터만 전송하여 네트워크 비용과 시간을 절약 가능
• 다양한 지원 소스 및 대상: NFS, SMB 파일 서버, Amazon S3, Amazon EFS, Amazon FSx 등 다양한 파일 시스템을 지원

AWS Transfer Family (=S3 target only)

주로 SFTP, FTPS, FTP를 사용하여 AWS로 파일을 전송해야 하는 경우에 사용 (to S3)

사용자가 기존에 사용하는 프로토콜을 사용하여 데이터를 Amazon S3나 Amazon EFS와 같은 AWS 스토리지 서비스로 쉽게 전송할 수 있도록 설계된 서비스

AWS Storage Gateway

On-Prem <---> AWS 간 통신이 주요, 구성을 위해서는 Public Endpoint 를 사용이 필요하다

Storage Gateway 유형 및 사용사례

• File Gateway: 파일 기반 데이터의 클라우드 저장, 파일 공유, 백업 및 아카이빙
• Volume Gateway: 블록 스토리지 데이터의 백업, 스냅샷 관리, 재해 복구
• Tape Gateway: 기존 테이프 백업 인프라의 클라우드 전환, 장기 보관 및 규제 준수

Storage Gateway 장점

• 하이브리드 클라우드 통합: 온프레미스 스토리지와 클라우드 스토리지 간의 원활한 통합
• 비용 효율성: 로컬 스토리지 인프라를 최소화하면서도 AWS의 저렴한 클라우드 스토리지를 활용
• 간편한 마이그레이션: 기존의 워크플로우를 유지하면서 클라우드로 쉽게 데이터 전송

Storage Gateway로 S3에 직접 업로드 시 주의 사항 (파일 공유 캐시 자동 업데이트 X)

Storage Gateway를 통한 S3에 직접 업로드 시 파일 공유 캐시 데이터는 자동으로 업데이트 되지 않는다.

캐시 데이터를 업데이트하기 위해서는 RefreshCache 작업을 수행해야한다.

• RefreshCache: 파일 공유의 변경 사항을 확인
• ResetCache: 오류가 발생한 모든 캐시 디스크를 재설정하고 해당 디스크를 캐시 스토리지로 재구성하는 명령 (캐시된 볼륨 및 Tape Gateway에서만 지원)

AWS Replication Agent

• 주로 AWS Application Migration Service(MGN) 및 AWS Elastic Disaster Recovery(DRS)와 함께 사용되어, 온프레미스 또는 다른 클라우드 환경의 서버와 데이터를 AWS로 복제하기 위한 agent
• On-Prem 서버나 다른 클라우드 환경의 실시간 데이터를 지속적으로 복제

Data Pipeline

• 여러 AWS 서비스 및 온프레미스 데이터 소스 간에 데이터를 자동으로 이동 시 사용
• 정기적인 ETL 작업, 다양한 데이터 소스에서 데이터를 가져와 처리 후 목적지에 저장하는 복잡한 워크플로우를 자동화 등 복잡한 데이터 처리 파이프라인에 적합
  • 단일 데이터 처리 작업이 아닌 여러 단계로 이루어진 데이터 흐름을 자동화 등

참고

https://docs.aws.amazon.com/ko_kr/storagegateway/latest/tgw/using-dx.html