카프카의 어원

• 카프카의 창시자인 제이크렙스는 대학 시절 문학 수업을 들으며 소설가 프란츠 카프카에 심취해 있었는데 자신의 팀이 새로 개발할 시스템이 데이터 저장과 기록, 즉 쓰기에 최적화된 시스템이었기에 작가의 이름을 사용하는것이 좋겠다고 생각해서 카프카로 정했다고 한다.(출처 : Quora.com)

카프카

• 아파치 프로젝트 어플리케이션
• 고성능의 Pub/Sub 모델
• 디스크에 메시지를 보관주기동안 저장함으로써 메시지 손실 없이 작업 가능
• 서비스 중단없이 확장이 용이하도로 설계됨
• 메시징 플랫폼을 넘어 데이터 파이프라인 플랫폼으로 진화

1. 제이 크렙스

• 카프카의 창시자
• 링크드인에서 출발해 2011년 초 아파치 공식 오픈소스로 세상에 공개함.
• confluent.io 회사 창립해서 카프카를 지속적으로 발전시키고 있음.

2. 브로커(Broker)

• 카프카 애플리케이션이 설치되어 있는 서버 또는 노드

3. 토픽(Topic)

• 프로듀서와 컨슈머들이 카프카로 보낸 자신들의 메시지를 구분하기 위한 네임으로 사용

4. 파티션(Partition)

• 병렬처리가 가능하도록 토픽을 나눌 수 있고, 많은 양의 메시지 처리를 위해 파티션 수 조절할 수 있음.

5. 프로듀서(Producer)

• 메시지를 생산하여 토픽이름으로 보내는 서버 또는 애플리케이션

6. 컨슈머(Consumer)

• 저장된 메시지를 가져가는 서버 또는 애플리케이션

7. 주키퍼(Zookeeper)

• 하둡의 서브 프로젝트로 시작 후 아파치 탑레벨 프로젝트로 승격
• 분산 애플리케이션을 위한 코디네이션 애플리케이션
• 안정적인 코디네이션 애플리케이션으로 카프카, 스톰, HBase, NiFi 등에서 사용
• 분산되어있는 애플리케이션의 정보를 중앙에 집중
• 구성관리, 그룹관리 네이밍, 동기화 등의 서비스를 제공