# athena

haejeonghy

현재 내가 서버 엔지니어로 근무하고 있는 회사에선 golang을 사용해 서버를 구축했다. 왜 golang을 사용했냐면, Java 같은 언어들에 비해 저연차의 엔지니어도 기여하기 좋다... 그거 말고도 이유가 더 있었던 거 같은데 기억이 나지 않는다. 아무튼 golang

bgly

S3로 옮긴 데이터를 aws athena를 이용해 \*\*테이블을 생성+파티셔닝을 해야한다. 우선, 테이블을 생성하면서 파티셔닝을 하기로 했다. S3에는 연도/월/일 폴더의 구조로 파일들이 들어가있다. 파티셔닝을 해주러 athena 콘솔로 들어가서 아래와 같이 작성한다

denhur62

이번 시간에는 데이터 기초편으로 데이터 전송 방식과 마이그레이션, 데이터 분석 서비스에 대해 다루고자 합니다. AWS 데이터베이스 간 전송 방식 및 데이터 마이그레이션 Storage Gateway : 온 프레미스 데이터 센터의 데이터와 AWS 클라우드의 스토리지를

jiyeon_hong

ALB의 Access log를 S3에 저장하고 저장된 로그를 AWS의 "Athena"를 이용해서 분석하는 방법 ALB의 Access log를 저장할 s3버킷을 먼저 생성합니다. (버킷은 LB와 같은 리전에 생성해야하며, 접두사에는 "AWSLogs" 라는 문구가 포함되

ariel_bo

4. SQL 중급 문법 SELECT (테이블 조회) 1. 데이터 집계 💡as를 이용하면 컬럼명 변경 또는 지정 가능💡특정 컬럼에 대한 집계 데이터 조회시 group by 사용 필수💡distinct 사용 시 값 중복 제거 가능 2. 데이터의 형식 변경 CR

ariel_bo

SQL(Structured Query Language)은 관계형 데이터베이스에 정보를 저장하고 처리하기 위한 프로그래밍 언어SQL문을 사용하여 데이터베이스에서 정보를 저장, 업데이트 제거 및 검색을 할 수 있다.대화식 언어이기 때문에, 명령문이 짧고 간결하다.RDBMS

yyeongjin

블로그를 참고하여 아래와 같은 다이어그램을 구현해 보았다.Step 01. Create a Custom VPCStep 02: Create a VPC Flow Log (Destination = CloudWatch Logs)Step 03: Analyze CloudWatch

hongjunjeon

Athena는 표준 SQL을 사용해 S3에 저장된 데이터를 간편하게 분석할 수 있는 대화식 쿼리 서비스로, 실행한 쿼리에 대해서만 비용 지불(서버리스)EMR은 종적 확장 가능 EC2 인스턴스 전반에 걸쳐 대량의 데이터를 쉽고 빠르게 처리할 수 있는 관리형 하둡 프레임워

bgly

코딩테스트로 처음으로 본인의 의지대로 S3와 athena를 써보았다. 그러면서 겪은 나의 눈물겨운 ETL을 기록해두려한다. 우선, S3는 airflow 강의 당시 개념만 익혀두었고, athena는 건너건너 이름만 들어봤기 때문에 "아~Data Lake~대화식 쿼리 서비

lpiecel

athena를 사용할 때 속도 개선

naeson

지난 포스팅에서 스토리지의 종류중 객체 스토리지, 블록스토리지에 대해서 다루어 보았다. 오늘은 마지막 칼럼형 스토리지 Redshift에 대해서 다루어보고 이와 비교되는 EMR, Athena에 대해서 다루어 보겠다.

dmis

Athena, Presto, Excel을 이용한 데이터 전처리

ehgks0000

AWS Athena를 통해 ALB 로그 분석

shmaxlee

Database and Analytics

rldnjsdlsi

Amazon Athena Amazon OpenSearch Service Amazon EMR AWS Glue Amazon Kinesis, Kinesis Data Streams, Firehose, Analytics Amazon QuickSight

combi_jihoon

S3 위의 SQL layer라 볼 수 있다. \- S3의 데이터를 쿼리하기 위해 사용한다.완전한 서버리스 데이터베이스이다.얼마나 많은 쿼리를 사용했는 지에 따라 비용을 지불한다.쿼리 결과를 S3에 다시 적재할 수 있다.IAM을 통해 보안을 높일 수 있다.1회용 SQL

combi_jihoon

Athena는 표준 SQL을 사용해 S3에 저장된 데이터를 간편하게 분석할 수 있는 대화식 쿼리 서비스로, 서버리스여서 관리할 인프라가 없으며 실행한 쿼리에 대해서만 비용을 지불하면 된다.아테나는 실행한 쿼리가 스캔한 데이터의 용량 만큼 비용이 청구된다. 그렇기 때문에

2innnnn0

PrestoDB Link 코드 결과 Map(binsize,count)값을 리턴해줌. 아쉽게도 곧바로 써먹기가 어려움. 추후 방법을 찾으면 공유해볼 예정 🤔

crosstar1228

실시간으로 데이터 스트림을 수집, 처리, 분석해주는 서비스완전 관리형 ETL 서비스. 데이터 분류, 정리, 보강, 이동오픈소스 분산 검색 엔진. 방대한 양의 데이터를 신속하게, 거의 실시간( NRT, Near Real Time )으로 저장, 검색, 분석표준 SQL을 이