Amazon Athena
Amazon Athena는 AWS에서 제공하는 서버리스(interactive query) 서비스로, 데이터 분석을 위해 SQL을 사용하여 S3에 저장된 데이터를 직접 쿼리할 수 있는 도구입니다. 서버를 프로비저닝하거나 관리할 필요 없이 데이터에 대한 분석 작업을 빠르게 실행할 수 있습니다.
주요 특징
1. 서버리스 (Serverless)
• 서버를 설정하거나 관리할 필요 없이 바로 사용할 수 있습니다.
• 데이터 처리량에 따라 비용이 부과되며, 쿼리된 데이터의 양(GB 단위)에 따라 청구됩니다.
2. SQL 쿼리 사용
• ANSI 표준 SQL을 기반으로 데이터 쿼리가 가능합니다.
• 대규모 데이터 집합에 대한 쿼리를 효율적으로 처리합니다.
3. S3와의 통합
• Athena는 Amazon S3에 저장된 데이터와 통합되어 작동합니다.
• CSV, JSON, Parquet, ORC, Avro 같은 다양한 파일 형식을 지원합니다.
• 데이터가 구조화되어 있지 않아도 쿼리를 실행할 수 있습니다.
4. 다양한 사용 사례
• 로그 분석: CloudTrail, ELB 로그 등의 S3에 저장된 로그 데이터를 분석.
• 데이터 탐색: 데이터를 쉽게 조회하거나, BI(Business Intelligence) 도구와 연동.
• 데이터 변환 및 준비: ETL(Extract, Transform, Load) 작업의 일부로 사용.
5. 호환성
• Amazon QuickSight 및 타 BI 도구와 쉽게 통합.
• AWS Glue를 사용하여 데이터 카탈로그와 스키마 정보를 관리.
작동 원리
- 데이터를 Amazon S3에 업로드합니다.
- Athena 콘솔에서 테이블 스키마를 정의합니다. AWS Glue 카탈로그를 연동하면 스키마 작업을 간소화할 수 있습니다.
- SQL 쿼리를 작성하여 데이터를 조회 및 분석합니다.
- 쿼리 결과는 S3에 저장되며, 필요에 따라 시각화 도구로 활용할 수 있습니다.
장점
• 빠른 시작: 서버 설정 없이 데이터에 즉시 접근 및 분석 가능.
• 비용 효율: 저장된 데이터의 크기에 따라 청구되므로 비용 절감.
• 확장성: 데이터 크기가 증가해도 분석 성능을 유지.
• 다양한 데이터 소스 지원: 텍스트 파일뿐만 아니라 압축 파일 및 컬럼 기반 파일 형식도 지원.
