Kafka 필요 이유

이벤트성 데이터 처리를 위함 (ex. 카톡에서 연말/연초, tps 급증)

기존의 Direct 방식 : n/w 부하, 데이터 받는 쪽에서 out of memeory. 중간에 서버 두어서 ftp로 하면 관리해야할 포인트가 많다. 불규칙한 유입량에 대해 사전에 ftp서버를 더 구축하던지 등 해야한다.
Kafka :
- Consumer 쪽에서 받는 부하는 항상 같음. 단지 kafka의 queue에서 데이터 저장하고 있다
- (성능)처리량이 높음 초당 200백만건
- 데이터 유실이 없다(브로커 하나가 죽어도)
- 다양한 곳에 데이터 보낼 수 있다
- 실시간 데이터에 장점인 이유는 segment에 저장할 때 최근데이터는 메모리에 저장해두지만, 이전데이터는 하드디스크에 있기 때문에 빠르다

Reference
https://baek.dev/post/20/