Kafka는 데이터를 비동기적으로 처리하기 위해 Producer-Consumer 모델을 사용한다.
Producer
- 데이터를 생성하고 Kafka에 전송
- producer는 데이터를 전송한 후 즉시 반환되어 다음 작업을 수행할 수 있음. 즉, 데이터가 Kafka에게 전송되는 과정에서 Producer는 다른 작업을 처리할 수 있다.
Kafka는 전송받은 데이터를 Topic이라는 단위로 구분하고, 이를 다수의 Consumer에게 전송한다.
Consumer
- Topic에서 데이터를 읽어들이고, 처리한 후 다음 데이터를 읽기 위해 계속해서 Topic을 감시한다.
결론
Kafka는 Producer 와 Consumer 가 각각 독립적으로 데이터를 처리하고, 처리 결과를 다른 작업과 동시에 수행할 수 있도록 하여 비동기적인 처리를 구현한다. 이를 통해 데이터 처리 속도를 높이고, 시스템의 확장성과 유연성을 향상시킬 수 있다.
