Amazon Redshift Spectrum
특징
- Redshift 클러스터의 컴퓨팅 리소스를 사용하여 S3에 저장된 외부 데이터를 쿼리할 수 있다.
- 내부 테이블과 외부 테이블을 조합하여 쿼리할 수 있다.
- Redshift의 SQL 기능을 모두 사용할 수 있다.
성능
- 컴퓨팅 리소스: Redshift 클러스터의 노드가 쿼리 처리를 담당하므로, 클러스터의 크기와 성능에 따라 달라진다.
- 데이터 분산: Redshift의 분산 컴퓨팅을 활용하여 대규모 데이터를 병렬 처리할 수 있다.
- 병목 현상: 클러스터의 컴퓨팅 리소스가 제한적일 경우, 병목 현상이 발생할 수 있다.
비용
- 컴퓨팅 비용: Redshift 클러스터의 노드 시간에 대한 요금이 부과된다.
- 스캔 비용: S3에서 스캔한 데이터 양(GB 단위)에 따라 비용이 청구된다.
- Redshift Spectrum의 경우, 1TB당 $5의 비용 부과
- 스토리지 비용: S3에 저장된 데이터의 양에 따라 비용이 청구된다.
Amazon Athena
특징
- 서버리스 쿼리 서비스로, 인프라를 관리할 필요가 없다.
- S3에 저장된 데이터를 직접 쿼리할 수 있다.
- 다양한 데이터 포맷(CSV, JSON, Parquet, ORC 등)을 지원한다.
성능
- 컴퓨팅 리소스: Athena는 서버리스 서비스로, 자동으로 확장되며 AWS가 관리하는 리소스를 사용한다.
- 데이터 스캔: 쿼리 성능은 데이터 스캔 양과 쿼리 최적화에 따라 달라진다.
- 병목 현상: 병목 현상은 거의 없지만, 데이터 스캔 양이 많을 경우 성능이 저하될 수 있다.
비용
- 쿼리 비용: 쿼리 실행 시 스캔한 데이터 양(GB 단위)에 따라 비용이 청구된다.
- 1TB당 $5의 비용이 부과
- 스토리지 비용: S3에 저장된 데이터의 양에 따라 비용이 청구된다.
속도 및 비용 비교
속도 비교
-
Redshift Spectrum
- 데이터가 클러스터의 노드에 의해 병렬 처리되므로, 대규모 데이터셋을 빠르게 처리할 수 있다.
- 클러스터의 성능에 따라 성능이 결정되며, 클러스터가 병목 현상을 겪을 수 있다.
- 내부 테이블과 조합하여 복잡한 쿼리를 수행할 때 유리.
-
Athena
- 자동으로 확장되는 서버리스 환경에서 동작하므로, 병목 현상이 거의 없다.
- 데이터 스캔 양과 쿼리 최적화에 따라 성능이 달라질 수 있다.
- 단순한 쿼리와 분석 작업에 빠르게 응답할 수 있다.
비용 비교
-
Redshift Spectrum
- 컴퓨팅 비용: Redshift 클러스터의 노드 시간에 대한 비용이 발생.
- 스캔 비용: S3에서 스캔한 데이터 양에 따라 비용이 청구된다.
- 스토리지 비용: S3에 저장된 데이터에 대한 비용이 청구된다.
- 종합 비용: 고성능을 위해 많은 컴퓨팅 리소스를 사용하는 경우 비용이 높아질 수 있다.
-
Athena
- 쿼리 비용: 쿼리 실행 시 스캔한 데이터 양에 따라 비용이 청구된다.
- 스토리지 비용: S3에 저장된 데이터에 대한 비용이 청구된다.
- 종합 비용: 사용량 기반으로 비용이 청구되므로, 비용을 예측하고 관리하기 쉬우며 일반적으로 Redshift보다 저렴하다.
결론
- 속도:
- Redshift Spectrum은 대규모 데이터셋과 복잡한 쿼리를 빠르게 처리할 수 있지만, 클러스터 리소스가 제한적일 경우 병목 현상이 발생할 수 있다.
- Athena는 서버리스 환경에서 자동으로 확장되므로 병목 현상이 적으며, 단순한 쿼리 작업에 유리하다.
- 비용:
- Athena는 사용량 기반의 비용 구조로, 일반적으로 Redshift Spectrum보다 저렴하다.
- Redshift는 고성능이 필요한 경우 더 높은 비용이 발생할 수 있다.
Data Engineer