profile
데이터 엔지니어를 꿈꾸는 예비 개발자
태그 목록
전체보기 (551)python(272)알고리즘(252)백준(203)KDT(58)TIL(36)DP(33)sql(30)BFS(25)프로그래머스(24)그리디(24)브루트포스(22)도커(19)leetcode(19)docker(19)GMP(18)R(16)kafka(14)DFS(13)pandas(13)백트래킹(13)CS(9)자료구조(8)쿠버네티스(7)컴퓨터 구조(7)CSS(6)구현(6)데이터분석(6)일기(5)html(5)컴구(5)django(4)k8s(4)카프카(3)7568(3)6588(3)GA(3)스택(3)Logstash(3)인덱스(3)js(3)2839(2)mysql(2)바인드 마운트(2)수들의 합(2)프로세스(2)부분수열의 합(2)순열(2)이진탐색트리(2)캐시(2)BST(2)팩토리얼 0의 개수(2)numpy(2)암호 만들기(2)ec2(2)elasticsearch(2)토마토(2)16173(2)통계학(2)(2)10808(2)완전탐색(2)kakao(2)1759(2)스타트와 링크(2)하둡(2)트리(2)소트(2)괄호(2)1789(2)Debezium(2)bind-mount(1)11000(1)스토어드(1)7576(1)15591(1)2667(1)1325(1)10610(1)위장(1)전화번호 목록(1)배열(1)10971(1)볼 모으기(1)1026(1)동전 2(1)Remove Duplicates from Sorted Array(1)9251(1)codeforxe(1)1929(1)파이프 옮기기 1(1)15651(1)기타줄(1)1912(1)후위 표기식(1)4963(1)알파벳 찾기(1)Best Time to Buy and Sell Stock II(1)크리보드(1)가장 큰 수(1)한수(1)15655(1)1065(1)1644(1)1, 2, 3 더하기 4(1)N과 M(5)(1)14891(1)console-producer.sh(1)가장 긴 바이토닉 부분 수열(1)11057(1)연산자 끼워넣기(2)(1)15686(1)N과 M(3)(1)LCS(1)가장 긴 증가하는 부분 수열 4(1)two sum(1)16948(1)오르막 수(1)1748(1)11501(1)베스트앨범(1)1107(1)10942(1)N과 M(8)(1)덩치(1)15654(1)동물원(1)점프 점프(1)소수 구하기(1)멀쩡한 사각형(1)1476(1)2609(1)문자열 압축(1)11052(1)15903(1)1978(1)포도주 시식(1)경쟁적 전염(1)타겟 넘버(1)15658(1)11726(1)해시(1)9663(1)2580(1)데이터 웨어하우스(1)10819(1)1052(1)이미지(1)숨바꼭질(1)로또(1)문서 검색(1)11279(1)알파벳 개수(1)18258(1)4889(1)음식물 피하기(1)10845(1)rgb거리(1)1149(1)12869(1)11724(1)9093(1)1, 2, 3 더하기 3(1)트리의 부모 찾기(1)MooTube(1)리모컨(1)운영제체(1)2003(1)톱니바퀴(1)영역 구하기(1)Contains Duplicate(1)Index(1)DFS와 BFS(1)1261(1)10974(1)19539(1)1120(1)부분합(1)1063(1)2xn 타일링(1)내부조인(1)케빈 베이컨의 6단계 법칙(1)숫자 문자열과 영단어(1)두 동전(1)2193(1)퇴사(1)19167(1)뮤탈리스크(1)15656(1)쉬운 계단 수(1)튜플(1)사탕 게임(1)1083(1)2468(1)forza horizon 5(1)스택 수열(1)15988(1)팰린드롬??(1)이전 순열(1)합분해(1)소수의 연속합(1)피보나치 수(1)파일 정리(1)16234(1)14501(1)16929(1)뉴스 클러스터링(1)6603(1)트라이(1)패션왕 신해빈(1)더 맵게(1)Merge Sorted Array(1)2502(1)11047(1)포르자호라이즌(1)Valid Anagram(1)14503(1)N과 M(4)(1)N과 M(6)(1)2583(1)공공API(1)숫자 카드(1)1182(1)10815(1)(1)16198(1)1406(1)GTM(1)1071(1)16194(1)모든 순열(1)7562(1)N과 M(1)(1)컨베이어 벨트 위의 로봇(1)(1)카드 구매하기(1)단어 뒤집기 2(1)15663(1)10162(1)신고 결과 받기(1)구간 합 구하기 4(1)이동하기(1)선형대수학(1)17615(1)유기농 배추(1)치킨 배달(1)탐욕(1)스마일게이트 스토브(1)17070(1)17413(1)console-consumer.sh(1)2470(1)2210(1)11659(1)10799(1)10844(1)최대공약수와 최소공배수(1)프렌즈4블록(1)14888(1)Google Optimize(1)단지번호붙이기(1)18290(1)Delete Node in a Linked List(1)이친수(1)쇠막대기(1)프린터(1)적록색약(1)read only volume(1)날짜 계산(1)1158(1)10820(1)문자열 분석(1)1 2 3 더하기(1)9375(1)2231(1)카드 구매하기 2(1)7569(1)Valid Palindrome(1)kfq(1)자바스크립트(1)문자열(1)Plus One(1)뱀과 사다리 게임(1)에너지 모으기(1)UDP(1)20055(1)1926(1)숫자 정사각형(1)오큰수(1)2217(1)Moves Zeros(1)후위 표기식2(1)슬라임 합치기(1)1049(1)14562(1)2798(1)13549(1)14002(1)에디터(1)하노이 탑 이동 순서(1)Reverse-Integer(1)18405(1)1 2 3 더하기 5(1)로봇 청소기(1)섬의 개수(1)1309(1)시험 감독(1)2309(1)3190(1)1699(1)2606(1)2150(1)to do(1)1991(1)컨테이너(1)골드바흐의 추측(1)1935(1)2529(1)부등호(1)bootstrap(1)Intersection of Two Arrays II(1)13398(1)구간 합 구하기 5(1)이모티콘(1)1934(1)10824(1)N-Queen(1)1697(1)reverse string(1)20291(1)수 이어 쓰기 1(1)순위 검색(1)숨바꼭질 4(1)15657(1)1002(1)1388(1)동전 1(1)한 줄로 서기(1)차이를 최대로(1)1747(1)가장 긴 증가하는 부분 수열(1)구글 태그 매니저(1)나이트의 이동(1)11723(1)17298(1)10866(1)2225(1)사과나무(1)Pyton(1)13913(1)강의실 배정(1)11729(1)15990(1)네 수(1)데이터사이언스(1)N과 M(7)(1)두 용액(1)괄호 변환(1)11053(1)11054(1)LIS(1)Valid Sudoku(1)1003(1)Two Dots(1)시스템 버스(1)1051(1)연속합 2(1)큐 2(1)1918(1)2748(1)topics.sh(1)대결(1)dw(1)First Unique Character in a String(1)1389(1)N과 M(9)(1)소수&팰린드롬(1)Rotate Array(1)볼륨(1)메모(1)점프왕 쩰리(1)lettcode(1)그림(1)9009(1)13458(1)BABBA(1)D. Non-zero Segments(1)요세푸스 문제(1)124 나라의 숫자(1)11048(1)cpu(1)연결 요소의 개수(1)NM과 K(1)(1)2812(1)스도쿠(1)숫자판 점프(1)읽기 전용 볼륨(1)최소공배수(1)연속합(1)ROT13(1)(1)11725(1)1543(1)2293(1)1946(1)알고스팟(1)한국품질재단(1)(1)배열 돌리기 1(1)기타리스트(1)인구 이동(1)2743(1)2xN타일링(1)연구실(1)프로젝트(1)태권왕(1)제곱수의 합(1)kubernetes(1)1105(1)14226(1)15652(1)14425(1)단어 뒤집기(1)config.sh(1)크롤링(1)11656(1)접미사 배열(1)14241(1)aws(1)1541(1)11660(1)14225(1)9625(1)문자열 집합(1)2164(1)집합(1)14391(1)11060(1)Reverse Linked List(1)종이 조각(1)오픈채팅방(1)1541번(1)연산자 끼워넣기(1)주식가격(1)기능개발(1)소수 찾기(1)2178(1)Maximum Depth of Binary Tree(1)1138(1)N과 M(2)(1)3085(1)11655(1)터렛(1)2294(1)1463(1)2579(1)1로 만들기(1)계단 오르기(1)미로 탐색(1)4673(1)1874(1)15650(1)single number(1)11058(1)외판원 순회 2(1)크게 만들기(1)14502(1)BI 대시보드(1)B-tree(1)떡 먹는 호랑이(1)hash(1)16947(1)9613(1)Remove Nth Node From End of List(1)1260(1)9012(1)10828(1)면접후기(1)거리두기 확인하기(1)다음 순열(1)숨바꼭질 3(1)1489(1)설탕 배달(1)(1)수식 최대화(1)운영체제(1)스티커(1)11497(1)트리 순회(1)docker compose(1)9465(1)10026(1)셀프 넘버(1)spark(1)15989(1)서울 지하철 2호선(1)10973(1)단어 길이 재기(1)안전 영역(1)11399(1)피보나치 함수(1)10422(1)1012(1)효율적인 해킹(1)최대 힙(1)10972(1)11727(1)1743(1)1806(1)비트마스크(1)16926(1)카드2(1)스레드(1)16928(1)0-1bfs(1)GCD 합(1)1495(1)데스 나이트(1)다리를 지나는 트럭(1)15649(1)9095(1)

debezium 이것 저것

여러 블로그를 참고해서 했습니다.번역 -> https://knight76.tistory.com/entry/debezium기술 -> https://velog.io/@ehdrms2034/Kafka-%EC%B9%B4%ED%94%84%EC%B9%B4-%EC%

약 19시간 전
·
0개의 댓글
·
post-thumbnail

debezium 설치?하기

저는 mysql을 이용했기 때문에 여기wget https://repo1.maven.org/maven2/io/debezium/debezium-connector-mysql/1.9.6.Final/debezium-connector-mysql-1.9.6.Final-pl

약 19시간 전
·
0개의 댓글
·
post-thumbnail

ec2 프리티어 카프카 클러스터 구축

추후에 mysql도 연결해야해서 3306 열었습니다.sudo apt-get updatesudo apt-get install openjdk-11-jdkcd ~wget https://mirror.navercorp.com/apache/zookeeper/zookeep

약 19시간 전
·
0개의 댓글
·

rds bin log

해결 방법 찾는 중...rds mysql을 사용하는 데 debezium을 사용하려면 bin_log가 켜져 있어야 한다. 하지만 aws에서 막았음...

1일 전
·
0개의 댓글
·
post-thumbnail

AWS

aws 리전은 더 높은 가용성, 확장성, 내결함성을 위해서 다중의 가용영역으로 구성된다.어플리케이션과 데이터는 다른 가용영역 간에 실시간 복제가 되며 일관성을 가진다.완전히 격리된 하나 이상의 데이터 센터충분한 물리적 거리자가 전력 인프라수십반 대 규모의 서버완전히 격

7일 전
·
0개의 댓글
·
post-thumbnail

kafka - 프로듀서

데이터의 시작점카프카에 필요한 데이터를 선언하고 브로커의 특정 토픽의 파티션에 전송데이터를 전송할 때 리더 파티션을 가지고 있는 카프카 브로커와 직접 통신한다.카프카 브로커로 데이터를 전송할 때 내부적으로 파티셔너, 배치 생성 단계를 거친다.ProducerRecord

2022년 9월 28일
·
0개의 댓글
·

도커 컴포즈로 카프카 실행(임시)

docker 설치docker-compose 설치docker-compose파일 작성컨테이너에 접속sudo docker exec -it kafka1 /bin/bash토픽 생성kafka-topics.sh --create --bootstrap-server kafka1:9092

2022년 9월 28일
·
0개의 댓글
·

에러 모음

Couldn’t connect to Docker daemon at http+docker://localhost - is it running?해결sudo를 붙이면 해결된다...

2022년 9월 28일
·
0개의 댓글
·
post-thumbnail

kafka - 토픽 생성

브로커의 옵션에 따라 생성이 된다.명시적으로 생성하는 것이 좋다.데이터 특성에 따라 다르게 생성하는게 좋다.동시 데이터 처리량이 많아야 하는 토픽의 경우 파티션의 개수를 크게 설정 가능단기간 데이터 처리만 필요한 경우 보관 기간 옵션을 짧게 설정할 수 있다.토픽에 들어

2022년 9월 28일
·
0개의 댓글
·
post-thumbnail

나머지 커맨드 라인 툴

카프카 프로듀서로 퍼포먼스를 측정할 때 사용bin/kafka-producer-perf-test.sh --producer-props bootstrap.servers=my-kafka:9092 --topic 토픽이름 --num-records 숫자 -- throughput 숫

2022년 9월 28일
·
0개의 댓글
·
post-thumbnail

Kafka - consumer-groups.sh

bin/kafka-consumer-groups.sh --bootstrap-server my-kafka:9092 --list -> 그룹 리스트 확인bin/kafka-consumer-groups.sh --bootstrap-server my-kafka:9092 --group

2022년 9월 28일
·
0개의 댓글
·
post-thumbnail

쿠버네티스 - 영구 볼륨

pod 및 노드에 대한 독립성을 갖게 되며, 클러스터 관리자로서 이 볼륨이 구성되는 방식에 대한 완전한 권한을 갖게 된다.각각의 pod와 각각의 deployment.ymal 파일 등 이러한 파일에 대해 여러 번 구성할 필요가 없다.한 번만 정의한 다음, 원하는 경우 여

2022년 9월 26일
·
0개의 댓글
·
post-thumbnail

쿠버네티스 볼륨1

볼륨을 컨테이너에 탑재할 수 있다.여러 노드에서 애플리케이션을 실행할 수 있다.다른 클라우드 및 호스팅 프로바이더에서도 실행할 수 있다.다양한 유형의 볼륨 지원데이터가 실제로 저장되는 위치와 관련하여 매우 유연하다.로컬 볼륨을 지원pod가 실행되는 곳은 워커 노드의 폴

2022년 9월 26일
·
0개의 댓글
·
post-thumbnail

선언적 접근

명령을 외워야 한다.항상 반복한다.config 파일을 사용해서 원하는 목표 상태를 정의한다..yml or .yaml 파일 생성, 이름은 마음대로apiVersion은 홈페이지에서 확인kind : Deployment 등 타입? 적기metadata : 이름 적기spec :

2022년 9월 26일
·
0개의 댓글
·
post-thumbnail

deployment - 명령형 접근

minikube status -> 클러스터가 실행 중인지 확인 kubectl create deployment 이름 --image=이미지이름 -> 새로운 deployment 객체 생성, pod의 컨테이너에 사용할 이미지를 지정할 때 사용 kubectl get depl

2022년 9월 26일
·
0개의 댓글
·
post-thumbnail

쿠버네티스 객체

가장 작은 유닛하나 또는 여러 개의 컨테이너를 포함하고, 실행한다.볼륨과 같은 공유 리소스를 보유한다.다른 pod 혹은 외부와 통신 가능(컨테이너의 일부라서...)클러스터 내부 IP 주소가 있다.(변경 가능)pod안에 여러 컨테이너가 있으면 localhost를 이용해

2022년 9월 26일
·
0개의 댓글
·
post-thumbnail

쿠버네티스 설치

클러스터\-> 마스터 노드가 있는 클러스터는 실제로 여러 머신에 분산되어 항상 구동되어 실행될 수 있다.마스터 노드가 설정된 클러스터에서 실행되는 하나의 가상 인스턴스가 필요하고 하나 이상의 워커 노드가 필요하다.마스터 노드에는 API 서버와 스케줄러 등이 설치되어야

2022년 9월 26일
·
0개의 댓글
·
post-thumbnail

쿠버네티스 개념

pod라는 것에 의해 관리된다.pod는 쿠버네티스에서 가장 작은 단위이다.포드는 하나 이상의 애플리케이션 컨테이너와 이러한 컨테이너에 속한 모든 리소스를 호스팅한다.마스터 노드에서 포드를 추가 삭제포드안에 하나 혹은 여러개의 컨테이너가 있다.워커 노드에 둘 이상의 포드

2022년 9월 25일
·
0개의 댓글
·
post-thumbnail

쿠버네티스

ex) EC2인스턴스를 만들어서 직접 이미지를 빌드하고 배포한다.EC2 인스턴스를 자체적으로 관리하고 구성해야 하며, 그 인스턴스의 소프트웨어와 운영 체제가 업데이트된 상태를 유지하도록 해야 한다.컨테이너가 충돌하거나, 다운될 수 있으며 새 컨테이너로 교체해야 한다.만

2022년 9월 25일
·
0개의 댓글
·
post-thumbnail

컨테이너 이미지 관리

이미지를 다시 빌드 -> push -> run하지만 이전 코드가 계속 나옴.why? 도커가 이미지를 실행할 때마다 그 이미지가 이미 로컬에 있는지 항상 확인한다.docker pull 저장소이름 을 이용하여 이미지를 다시 가져온다.EKS를 이용하는게 편함.

2022년 9월 25일
·
0개의 댓글
·