Apache Kafka

Apache Kafka란??

Data in Motion Platform : 움직이는 데이터를 처리하는 플랫폼
Event Streaming Plaform : 실시간으로 흐르는 Event Stream을 받아주고 그 데이터를 필요로하는 곳으로 전송해주는 플랫폼

Event란?

비즈니스에서 일어나는 모든 일(데이터)을 의미한다.

• 웹 사이트에서 무언가를 클릭하는 것
• 청구서 발생
• 송금
• 배송 물건의 위치 정보
• 택시의 GPS 좌표
• 센서의 온도/압력 데이터

Event Stream

연속적인 많은 Event들의 흐름을 의미한다.

Apache Kafka의 특징

1. Publish & Subscribe

이벤트 스트림을 안전하게 전송해준다.
보내주는 곳에서 데이터를 잘 받고 그 데이터를 필요로하는 곳으로 잘 전송해주는 기능이다.

2. Write To Disk (가장 큰 특징)

이벤트 스트림을 디스크에 저장할 수 있다.
대용량 데이터로 들어오는 이벤트 스트림을 디스크에 Writing한다는 것

3. Processing & Analysis

이벤트 스트림을 분석하고 처리할 수 있다.
흐르고 있는 이벤트 스트림에서 내가 원하는 데이터들을 분석하고 처리할 수 있다.

Apache Kafka 사용 사례

Event(메시지/데이터)가 사용되는 모든 곳에서 사용가능 하다.

• Messaging System
• IOT 디바이스로부터 데이터 수집
• 애플리케이션에서 발생하는 로그 수집
• Realtime Event Stream Processing (Fraud Detection, 이상 감지 등)
• DB 동기화 (MSA 기반의 분리된 DB간 동기화)
• 실시간 ETL
• Spark, Flink, Storm, Hadoop과 같은 빅데이터 기술과 같이 사용

요약

Apache Kafka는 흐르는 데이터를 처리하기 위한 플랫폼이고 Event Streaming 플랫폼이라고도 부른다.
Pub&Sub 기능을 제공하고 있고 이벤트 스트림을 디스크에 안전하게 저장할 수 있다.
또한 대용량 처리량을 기반으로 실시간으로 들어오는 데이터를 분석하고 처리할 수 있다.