DataSync

이기태·2024년 5월 6일

AWS

목록 보기

31/62

S3 또는 EFS의 안팎으로 데이터를 전송하려는데 대신 S3 APIs는 사용하고 싶지 않을 때, EFS 네트워크 파일 시스템도 사용하지 않고 FTP 프로토콜만 사용하려는 경우
-> AWS 전송 제품군을 사용

프로토콜 지원(3가지)
- FTP
- FTPS(SSL을 통한 FTP)
- SFTP
FTP를 사용해 S3나 EFS에 업로드할 수 있다.
전송 제품군은 완전 관리형 인프라
확장성, 안정성, 가용성이 높다
가격
시간당 프로비저닝된 엔트 포인트 비용 + 전송 제품군 안팎으로 전송된 데이터의 GB당 요금
서비스 내에서 사용자 자격 증명을 저장 및 관리할 수 있다.
기존의 인증 시스템과 통합 가능
ex) Microsoft Active Directory, LDAP, Okta, Amazon Cognito, 사용자 지정 소스)
사용 사례
S3나 EFS의 FTP 인터페이스를 갖기 위함.
파일 공유 및 공개 데이터셋 공유
CRM, ERP등을 사용하기 위해

데이터를 동기화
- 대용량의 데이터를 한 곳에서 다른 곳으로 옮길 수 있게 됨.
  온프레미스나 AWS의 다른 클라우드로 데이터를 옮길 수 있다.
  (ㄱ) 이때 서버를 NFS, SMB, HDFS등 다른 프로토콜에 연결해야 함
  (ㄴ) 옮길 위치인 온프레미스나 연결할 다른 클라우드에 에이전트가 있어야 한다.
- 다른 유형의 마이그레이션을 실행할 수 있다.
  한 AWS 서비스에서 다른 AWS 서비스로 데이터를 옮길 수 있다.
  -> 이 경우 에이전트는 필요 없다.
동기화 가능한 것
- S3
  데이터는 모든 S3의 Glacier를 포함해 모든 스토리지 클래스에 동기화할 수 있다.
- EFS
  EFS로 네트워크 파일 시스템에 저장할 수 있다.
- FSx
  모든 운영 체제에서 사용 가능
복제 작업은 일정을 지정해 매 시간, 매일, 매주 실행되도록 할 수 있다.
파일 권한과 메타데이터 저장 기능이 있다.(시험)
보안과 관련해 NFS POSIX 파일 시스템과 SMB 권한을 준수한다.
-> 파일을 한 곳에서 다른 곳으로 옮길 때 이를 이용해 파일의 메타데이터를 보존할 수 있다..
DataSync 에이전트는 강력하다.
에이전트 하나의 태스크가 초당 10GB까지 사용 가능하고
네트워크 성능을 초과하고 싶지 않은 경우 대역폭에 제한을 걸 수 있다.

SMB/NFS프로토콜을 사용하는 온프레미스 파일을 AWS로 동기화하는 예시