KFServing with Kafka

KFServing에 Kafka 사용 이점에 대해 설명한다.

ML 환경에서의 Kafka 사용 이점

1. Data 파이프라인 단순화

App, DB등 다양한 연결 기능 제공

• Kafka producer, connect, REST Proxy, Schema Registry
  KSQL, Streams를 이용한 데이터 Processing 기능

2. Data Persistence

데이터 수집 레이어로 Kafka 활용
데이터 유실 방지, 서비스 장애시 데이터 보관, Offset 기능

3. Batch, Streaming 데이터 처리

실시간/배치 데이터 수집/처리 기능 제공

4. ML 모델 개발 및 적용의 중간 역할

모델 파라미터 저장 및 적용

Serving 환경에서 Kafka 활용 방안

Application, Storage의 실시간/배치 Stream 데이터를 Kafka를 사용해 분석

배치 스트리밍 처리 예제

Storage or DB에 저장된 데이터를 배치로 분석할 경우 Kafka 사용
o Kafka Connect를 사용해 DB or Storage 데이터를 Kafka로 전송할 수 있음
o Storage or DB의 대용량 데이터 분석 시 Kafka를 활용해 KFServing의 부하를 줄여 안정적으로 분석할 수 있음
o KFServing 장애 시 Offset 관리 가능

Kafka 미사용시 이슈

• Batch, Streaming 데이터 전송 기능 필요
• Response 저장 기능 필요
• KFServing 장애시 데이터 유실 방지 필요
• 대용량 데이터 유입시 버퍼 기능 필요
  
  

참고
https://de.confluent.io/blog/streaming-machine-learning-with-tiered-storage/