profile
꾸준히 성장하고픈 개발자입니다.
post-thumbnail

Kafka Streams

카프카 스트림즈는 카프카에서 공식적으로 제공하는 자바 라이브러리이다.토픽에 있는 데이터를 낮은 지연과 함께 빠른속도를 데이터를 처리할 수 있다. 라이브러리로 제공 되기 때문에 JVM 기반 언어를 선택하여 사용하면 된다.카프카와 완벽하게 호환된다.(외부 오픈소스 툴보다

2022년 4월 25일
·
0개의 댓글
·
post-thumbnail

Kafka Connect 개념

카프카 커넥트는 카프카에서 데이터 파이프라인을 반복적으로 만들어내고 개발하고 운용할때 효과적이다.카프카 커넥트는 카프카에서 공식적으로 지원하는 플랫폼이다.Kafka Connect는 Kafka Connector가 동작하도록 해주는 프로세스이다. 커넥트는 두가지 종류가 있

2022년 4월 23일
·
0개의 댓글
·
post-thumbnail

Confluent Kafka 설치 with m1 mac

저번에는 Apach 카프카를 설치 해보았다. 하지만 Confluent에서 나온 KsqlDb를 사용해 보고 싶기때문에 Confluent 카프카를 설치 해보려 한다. Confluent 카프카가 Docker는 Amd64 버전 밖에 지원을 안하므로 파일을 다운받아 설치 해보도

2022년 4월 22일
·
0개의 댓글
·
post-thumbnail

도커 컨테이너 exec 명령어

exec 명령어란? 실행중인 컨테이너에 명령어를 실행하는 도커 명령어이다. 형태 broker 컨테이너에 Bash 접속 broker 컨테이너에 환경변수 확인하기

2022년 4월 21일
·
0개의 댓글
·
post-thumbnail

Apach Kafka 설치 및 실행 with m1 mac

confluent 카프카를 도커를 통해 설치 하였는데 m1 맥이라서 자주 다운되고 성능이 느려서 아파치 카프카 사이트에서 다운받아서 설치 해보도록 하였다.

2022년 4월 21일
·
0개의 댓글
·
post-thumbnail

Docker 엔트리포인트와 커맨드, 환경 변수

도커 컨테이너가 실행할때 고정적으로 실행되는 스크립트 혹은 명령어 → 생략가능생략될 경우 커맨드에 지정된 명령어로 수행도커 컨테이너가 실행할 때 수행할 명령어 록은 엔트리 포인트에 지정된 명령어에 대한 인자값$ docker run --entrypoint sh ubun

2022년 4월 20일
·
0개의 댓글
·
post-thumbnail

Docker 생성, 실행, 종료

저장소 이름 ex) bangi , 이미지 이름 ex) nginx, 이미지 태그 ex) 1.21, latest로 구성이미지로 설정 가능한 방법bangi/nginxbangi/nginx:1.21nginx:latestnginx컨테이너 생성 $ docker create \[i

2022년 4월 20일
·
0개의 댓글
·
post-thumbnail

Kafka 구조

Topic은 하나의 테이블이라고 보는것이 좋다. 위 그림에서 Click, Upload Topic이 존재하며 Broker2 는 Broker1을 복제한것이다. 각각의 Topic은 partition으로 나뉜다.다음과 같이 Partition이 여러개일 경우 producer가

2022년 4월 20일
·
0개의 댓글
·
post-thumbnail

Kafka란?

데이터가 들어올때마다 하나하나 처리를 하는것배치 시스템도 실시간처럼 보이지만 초단위로 데이터를 모아서 처리하므로 네이티브 스프리밍이라고 볼수는 없다.오픈소스 분산 이벤트 스트리밍 플랫폼Publish/Subscribe Messaging 기반다음과 같이 두대의 프론트 서버

2022년 4월 20일
·
0개의 댓글
·
post-thumbnail

인프라 기본 개념

컨테이너란? 하나의 운영체제 커널에서 다른 프로세스의 영향을 받지 않고 돌립적으로 실행되는 프로세스 상태 모놀리식 아키텍쳐 하나의 큰 서비스에 여러 기능들이 통합 되어 있는 구조 장점 : 구축하기 쉽다 단점 : 인프라 확장을 해야 할때에

2022년 4월 20일
·
0개의 댓글
·