Amazon S3(Simple Storage Service)는 확장성, 내구성 및 보안성이 뛰어난 클라우드 스토리지 서비스로, 다양한 데이터를 저장하고 이를 인터넷을 통해 손쉽게 접근할 수 있는 기능을 제공합니다. 특히, 성능 측면에서 S3는 매우 강력한 기능을 제공하며, 대규모 트래픽을 처리할 수 있는 자동 확장 기능도 갖추고 있습니다. 이 글에서는 Amazon S3의 성능과 이를 최적화하는 방법에 대해 알아보겠습니다.
S3의 성능
Amazon S3는 높은 요청 빈도에 자동으로 확장되며, 첫 번째 바이트를 가져오는 데 100~200밀리초의 매우 짧은 지연 시간을 제공합니다. 이는 웹 애플리케이션이나 대용량 데이터 처리 시스템에서 매우 중요한 요소입니다. S3는 접두사(prefix) 기반으로 요청 한도를 관리하는데, 초당 3,500개의 PUT, POST, COPY 또는 DELETE 요청과 5,500개의 GET 및 HEAD 요청을 처리할 수 있습니다.
prefix란 무엇인가
prefix란 S3 버킷 내 객체 경로의 일부로, 성능 제약은 prefix를 기준으로 적용됩니다. 예를 들어, bucket/folder1/sub1/file이라는 객체가 있다면 이 객체의 prefix는 folder1/sub1입니다. S3는 prefix당 제한을 적용하므로, prefix가 다른 경우 서로 다른 성능 한도를 적용받게 됩니다.
이를 통해 prefix를 효율적으로 분배함으로써 버킷에서 더 많은 요청을 처리할 수 있습니다. 예를 들어, 네 개의 서로 다른 prefix를 가진 파일이 있다면, 초당 최대 22,000개의 GET 요청을 처리할 수 있습니다.
S3 성능 최적화 방법
1. 멀티파트 업로드 사용
100MB 이상의 대용량 파일을 업로드할 때는 멀티파트 업로드를 사용하는 것이 권장되며, 5GB가 넘는 파일의 경우 반드시 사용해야 합니다. 멀티파트 업로드는 파일을 여러 부분으로 나누어 병렬로 업로드하므로 업로드 속도가 크게 향상됩니다. 이는 네트워크 대역폭을 최대한 활용하는 데 도움이 됩니다.
멀티파트 업로드 동작 원리
- 큰 파일을 여러 부분으로 분할합니다.
- 각 부분을 병렬로 S3에 업로드합니다.
- 모든 부분이 업로드되면 S3가 이를 합쳐 하나의 파일로 완성합니다.
이 과정을 통해 업로드 성능이 크게 향상되며, 특히 네트워크 상태가 불안정한 환경에서도 더 높은 신뢰성을 제공합니다.
2. S3 전송 가속화 사용
S3 전송 가속화는 파일 업로드 및 다운로드 속도를 높이는 데 매우 유용한 기능입니다. 이 기능은 AWS의 엣지 로케이션(Edge Location)을 통해 데이터를 전송하므로, 공공 인터넷의 사용을 최소화하고 프라이빗 AWS 네트워크를 통해 데이터를 전송합니다. 이를 통해 전 세계 어디에서나 빠르고 안정적인 파일 전송을 경험할 수 있습니다.
전송 가속화의 예시
예를 들어, 미국에서 호주에 있는 S3 버킷으로 파일을 업로드하려면, 파일을 미국 내 엣지 위치로 업로드한 다음, 프라이빗 AWS 네트워크를 통해 해당 데이터를 호주의 S3 버킷으로 전송하게 됩니다. 이는 전송 시간을 줄이고, 공공 인터넷 사용에 따른 지연을 최소화합니다.
3. 바이트 범위 가져오기(Range Fetches)
대용량 파일을 다운로드할 때는 바이트 범위 가져오기 기능을 사용해 성능을 최적화할 수 있습니다. 이 기능은 파일의 특정 바이트 범위를 병렬로 가져와 다운로드 속도를 높이며, 특정 부분만 필요한 경우 효율적으로 데이터를 처리할 수 있습니다.
바이트 범위 가져오기 사용 예시
- 병렬 다운로드: 파일을 여러 개의 작은 부분으로 나누어 각 부분을 병렬로 요청함으로써 다운로드 속도를 크게 향상시킬 수 있습니다.
- 부분 데이터 요청: 예를 들어, 파일의 첫 50바이트만 필요하다면, 해당 부분만 요청하여 빠르게 데이터를 얻을 수 있습니다. 이를 통해 불필요한 데이터 전송을 줄이고 응답 시간을 단축할 수 있습니다.
마치며
Amazon S3는 고성능의 클라우드 스토리지 서비스로, 다양한 최적화 전략을 통해 더욱 효율적으로 사용할 수 있습니다. 멀티파트 업로드를 활용해 대용량 파일 업로드 성능을 높이고, S3 전송 가속화를 통해 글로벌 환경에서의 데이터 전송 속도를 최적화할 수 있습니다. 또한, 바이트 범위 가져오기를 통해 다운로드 성능을 향상시키고, 특정 데이터만 필요한 경우 효율적으로 데이터를 처리할 수 있습니다.
