[Kafka] Consumer(Kafka-Spark)

AnHyunDong·2022년 6월 30일
0

MLOps 프로젝트

목록 보기
11/18

개요

  • S3 -> Kafka -> Spark
  • Kafka에 메세지 큐(MQ) Subcribe하여 broker로부터 데이터를 가져옴
  • Kafka-python API를 사용하여 Python Consumer 개발 예정

Install

pip install kafka-python

코드

  • Consumer(Python)
    • topic 이름은 sendvideo로 받음

결과

  • Consumer

URL

Walker

profile
사진은 남아 추억이 메모는 남아 스펙이 된다

0개의 댓글