# Kinesis

12개의 포스트
post-thumbnail

Kinesis Stream vs Kafka

Partition VS Shard, Data size(Kinesis는 1MB 제한), Monitoring

4일 전
·
0개의 댓글
·

10. AWS - 서버리스 ⭐

Architecting on AWS

2022년 8월 3일
·
0개의 댓글
·
post-thumbnail

분석 Part

Amazon Athena Amazon OpenSearch Service Amazon EMR AWS Glue Amazon Kinesis, Kinesis Data Streams, Firehose, Analytics Amazon QuickSight

2022년 8월 1일
·
0개의 댓글
·

AWS 강의 정리 (6)

when encounters an error, it will rollback with ROLLBACK_IN_PROGRESS너무 커서 S3를 통해서 import 해야함At least one resource is required the process of managing

2022년 7월 4일
·
0개의 댓글
·
post-thumbnail

Kinesis를 활용한 데이터 수집 방법

최근 이직한 회사에서 서비스 중인 아키텍처의 구조는 Serverless 기반의 아키텍처로 구성되어 있다. (EC2 기반의 서비스 구성을 주로 경험한 나로썬 Serverless 기반 서비스 경험이 없어 정말로 많이 공부하고 있는중이다.ㅠㅠ)주로 AWS 기반 완전 관리형

2022년 6월 30일
·
0개의 댓글
·
post-thumbnail

Kinesis를 사용한 Real-Time 애플리케이션 제작

Amazon Kinesis를 사용하면 실시간 스트리밍 데이터를 손쉽게 수집, 처리 및 분석할 수 있으므로 적시에 통찰력을 확보하고 새로운 정보에 신속하게 대응할 수 있습니다. - AWS우리는 뭐든 움직이는 것을 좋아한다. 만약 배달을 하더라도 실시간으로 배달기사의 위치

2022년 6월 7일
·
0개의 댓글
·
post-thumbnail

AWS API Gateway-Kinesis-Firehose-S3

API Gateway -> Kinesis -> Firehose -> S3 로 데이터를 보내서 저장하기

2022년 4월 22일
·
0개의 댓글
·
post-thumbnail

Kinesis - Kinesis Data Streams

Kinesis를 이용하면 스트리밍 데이터를 실시간으로 쉽게 수집/처리/분석할 수 있다.Kinesis를 이용해 Application logs, Metrics, Website clickstreams 등을 처리할 수 있다.Kinesis는 네 가지 요소로 이루어져 있다. \

2022년 4월 19일
·
0개의 댓글
·
post-thumbnail

aws 서비스 정리 | Kinesis

aws 공식문서를 읽어봐도 잘 이해가 되지 않아, 유튜브에 올려진 강의를 찾아 보았다. 아래 강의 내용을 참고해 이번 글을 정리했다.AWS 기반의 대용량 실시간 스트리밍 데이터 분석 아키텍처 패턴 - 김필중 솔루션즈 아키텍트(AWS)대용량 스트리밍 데이터를 수집하고,

2022년 1월 11일
·
0개의 댓글
·
post-thumbnail

[AWS] 다양한 서비스 한줄 요약(ElasticSearch, Athena, glue,...)

실시간으로 데이터 스트림을 수집, 처리, 분석해주는 서비스완전 관리형 ETL 서비스. 데이터 분류, 정리, 보강, 이동오픈소스 분산 검색 엔진. 방대한 양의 데이터를 신속하게, 거의 실시간( NRT, Near Real Time )으로 저장, 검색, 분석표준 SQL을 이

2021년 11월 14일
·
0개의 댓글
·
post-thumbnail

synchronous Lambda Retry (1) (feat. CloudWatch, Firehose)

Kinesis 의 용도를 알 수 있다. Cloudwatch log 의 '에러'로그만 SQS로 보내 처리할 수 있다. 최종적으로, 동기적 람다함수에 대한 재시도 매커니즘을 구현해낸다.

2021년 8월 13일
·
0개의 댓글
·
post-thumbnail

SW과정 AWS Kinesis Architecture - 0722

1)수많은 데이터 소스가 작은 크기(kb)의 데이터를 끊임없이 생산하며, 동시에 전달하는 동작(e.g)2)지속적으로 업데이트가 되는 주가 정보3)지속적으로 업데이트되는 게임 플레이어 데이터4)지속적으로 업데이트되는 소셜 네트워크 데이터5)우버,그랩과 같은 지역 정보를

2021년 7월 22일
·
0개의 댓글
·