데이터 중심의 테크 기업의 성장!!
Direct Connect(안전한 망),
Snowball (페타바이트 스케일로 on-premise-aws 클라우드간의 빠르고 안정적인 데이터 이동 수단 제공 )
개발자(정렬,리플레이,실시간처리를 위한 수집 및 데이터 스트리밍)
방대한 스트리밍 데이터를 실시간 로드
데이터 사이언티스티(실시간 표준 sql 쿼리를 이용하여 데이터 스트림 분석)
데이터센터와 클라우드 간의데이터전송을 자동화 하고 가속화 시켜주는 온라인 데이터 전송 서비스
ETL 서비스란 ?
서버리스 데이터 변환작업, apache Spark 기반
데이터 저장과 처리가 분리된 관리형 Hadoop으로, 사용자의 작업을 절감해줌
Athena -대화식 분석
s3 데이터를 분석하는 대화식 쿼리 서비스 (서버리스)
즉각적인 쿼리, 쿼리당 비용, 개방
서버리스
쿼리를 위해 데이타 로딩 /ETL불필요, S3에서 직접 쿼리 실행
스캔된 데이터 만큼 과금
빅데이터 스트리밍을 초단위로 처리
Kinesis Streams 개념
- 전송 스트림: 샤드 / 프로비져닝/ 파티션키 있음
- 생산자, 소비자를 구성하여 일긱,쓰기작업
- 추가 처리 또는 분석을 위한 다른aws 서비스와 연계(EMR,REDSHIFT,DYNAMICDB)
데이터 흐름
존송 순서 보장/ 병렬 소비가능
샤드 ( 데이터 전송 단위)
기본적 24시간 저장, 최대 7일 데이터 보존 기간 연장 기능,
Kinesis Firehose 개념
- 전송 스트림 : 샤드/프로비져닝/파티션키 없음
- 레코드 : 각 데이터 Blob 는 절차에 따라 전송 스트림 전송
안전 관리형, 확장 가능하고 안전한
Elasticesearch + Kibana
분석, 협업, 대시보드
데이터와 분석결과 대시보드로 공유가능
SPICE
기계어 코드 생성으로 컴파일 되는 쿼리
풍부한 계산
1/10 비용으로 빠르고, 손쉬운 확장을 지원하는 완전 관리형 DW
데이터 저장소 차이
- OLTP, OLAP, Data Lake
처음으로 AWS 컨퍼런스에 참여하였는데 IOT 에 관하여 배웠습니다.
EC2 에서 Firehose ( 데이터를 가져오는데 카테고리에 담거나 정렬해줌 ) 를 이용하여 S3 버킷에 담은 다음에 Glue 가 S3에 담긴 데이터를 크롤링 해와서 AWS Athena를 이용해 테이블을 확인하여 그것을 통해 AWS QuickSight를 이용해서 시각화 데이터를 보여주는 Flow로 진행되었습니다.
처음듣는 컨퍼런스이고 9시부터 5시까지하는 긴 시간 동안 AWS의 새로운 것을 배우고 그것을 통해 발전해 나갈수 있다는 생각에 좋은 시간이였습니다.