[AWS] Kinesis 관련

Kinesis의 구성 요소

• Kinesis Data Streams (KDS):
  • 대규모 실시간 데이터 스트림 처리를 위한 서비스
  • 사용자가 데이터를 직접 소비(Consume)하고 처리하며, 데이터를 저장하는 작업은 스트림 외부에서 발생 (Fireshose 와 가장 큰 차이점)
  • 데이터를 스트림에서 세밀하게 관리하고, 여러 애플리케이션이 동시에 데이터를 소비해야 하는 경우에 적합
• Kinesis Data Firehose:
  • 데이터를 AWS 서비스(S3, Redshift, Elasticsearch) 또는 타사 서비스로 실시간 전송하는 데 사용
  • AWS Lambda와 쉽게 통합 가능하여 실시간으로 데이터를 처리하고 분석 가능 (KDS 역시 마찬가지)
• Kinesis Data Analytics:
  • SQL을 사용하여 실시간 데이터 스트림을 분석할 수 있는 서비스
  • 스트리밍 데이터에서 즉시 SQL 쿼리를 실행하고, 비즈니스 인사이트를 실시간으로 제공

Kinesis 와 다른 서비스 간의 통합 사례

• Lambda와의 통합: Kinesis Data Streams와 Firehose는 AWS Lambda와 쉽게 통합 가능하여 실시간으로 데이터를 처리하고 분석 가능.
• S3/Redshift와의 통합: Kinesis Data Firehose는 S3 및 Redshift와 긴밀하게 통합되어 데이터를 실시간으로 적재 가능.
• CloudWatch와의 모니터링 통합: Kinesis의 모니터링 데이터는 Amazon CloudWatch를 통해 제공되며, 스트림의 상태와 성능을 실시간으로 모니터링 가능.

Kinesis 에이전트

Kinesis Data Streams와 Kinesis Data Firehose에 데이터를 쉽게 전송하기 위한 오픈 소스 소프트웨어

sudo yum install –y aws-kinesis-agent

• yum, apt 등으로 간단히 설치 가능

Kinesis 에이전트 특징

• Kinesis Agent는 Linux 기반 서버에 쉽게 설치할 수 있으며, 설정 파일을 통해 수집할 파일 경로나 데이터 포맷을 지정 가능
• EC2 인스턴스 또는 온프레미스 서버에 설치하여 실시간으로 데이터를 수집하고 전송하는 데 유용
• Kinesis Data Streams와 Kinesis Data Firehose 모두와 연동 가능하며, 데이터를 실시간으로 전송 가능
  • 단, 전송 스트림 소스가 이미 Kinesis Data Streams로 설정된 Kinesis Firehose에는 사용 X