profile
스마일게이트 스토브 데이터 인프라 개발자
태그 목록
전체보기 (566)python(272)알고리즘(252)백준(203)KDT(58)TIL(36)DP(33)sql(30)BFS(25)프로그래머스(24)그리디(24)브루트포스(22)kafka(20)docker(19)leetcode(19)도커(19)GMP(18)R(16)DFS(13)pandas(13)백트래킹(13)CS(9)쿠버네티스(8)자료구조(8)k8s(8)kubernetes(7)컴퓨터 구조(7)데이터분석(6)CSS(6)구현(6)일기(5)컴구(5)html(5)django(4)카프카(4)7568(3)Statefulset(3)ec2(3)js(3)GA(3)6588(3)인덱스(3)스택(3)Logstash(3)Debezium(3)하둡(2)1789(2)바인드 마운트(2)괄호(2)mysql(2)이진탐색트리(2)프로세스(2)캐시(2)BST(2)elasticsearch(2)암호 만들기(2)토마토(2)팩토리얼 0의 개수(2)통계학(2)(2)kakao(2)16173(2)부분수열의 합(2)numpy(2)10808(2)2839(2)1759(2)완전탐색(2)순열(2)수들의 합(2)트리(2)스타트와 링크(2)소트(2)스토어드(1)7576(1)15591(1)2667(1)1325(1)10610(1)위장(1)전화번호 목록(1)배열(1)10971(1)볼 모으기(1)1026(1)동전 2(1)Remove Duplicates from Sorted Array(1)9251(1)codeforxe(1)1929(1)파이프 옮기기 1(1)15651(1)기타줄(1)1912(1)후위 표기식(1)4963(1)알파벳 찾기(1)Best Time to Buy and Sell Stock II(1)크리보드(1)가장 큰 수(1)한수(1)15655(1)1065(1)1644(1)1, 2, 3 더하기 4(1)N과 M(5)(1)14891(1)console-producer.sh(1)가장 긴 바이토닉 부분 수열(1)11057(1)연산자 끼워넣기(2)(1)15686(1)N과 M(3)(1)LCS(1)가장 긴 증가하는 부분 수열 4(1)two sum(1)16948(1)오르막 수(1)카프카 커넥트(1)1748(1)11501(1)베스트앨범(1)1107(1)10942(1)N과 M(8)(1)덩치(1)15654(1)동물원(1)점프 점프(1)소수 구하기(1)멀쩡한 사각형(1)1476(1)2609(1)ubuntu(1)문자열 압축(1)11052(1)15903(1)1978(1)포도주 시식(1)경쟁적 전염(1)타겟 넘버(1)15658(1)11726(1)해시(1)9663(1)2580(1)데이터 웨어하우스(1)10819(1)1052(1)이미지(1)숨바꼭질(1)로또(1)문서 검색(1)11279(1)알파벳 개수(1)18258(1)4889(1)음식물 피하기(1)10845(1)rgb거리(1)1149(1)12869(1)11724(1)9093(1)1, 2, 3 더하기 3(1)트리의 부모 찾기(1)MooTube(1)리모컨(1)운영제체(1)2003(1)톱니바퀴(1)영역 구하기(1)Contains Duplicate(1)Index(1)DFS와 BFS(1)1261(1)10974(1)19539(1)1120(1)부분합(1)1063(1)2xn 타일링(1)내부조인(1)케빈 베이컨의 6단계 법칙(1)숫자 문자열과 영단어(1)두 동전(1)2193(1)퇴사(1)19167(1)뮤탈리스크(1)15656(1)쉬운 계단 수(1)튜플(1)사탕 게임(1)1083(1)2468(1)forza horizon 5(1)스택 수열(1)15988(1)팰린드롬??(1)이전 순열(1)합분해(1)PV(1)소수의 연속합(1)피보나치 수(1)파일 정리(1)16234(1)14501(1)16929(1)뉴스 클러스터링(1)6603(1)트라이(1)패션왕 신해빈(1)더 맵게(1)Merge Sorted Array(1)2502(1)11047(1)포르자호라이즌(1)Valid Anagram(1)14503(1)N과 M(4)(1)N과 M(6)(1)2583(1)공공API(1)숫자 카드(1)1182(1)10815(1)(1)16198(1)1406(1)GTM(1)1071(1)16194(1)모든 순열(1)7562(1)N과 M(1)(1)컨베이어 벨트 위의 로봇(1)(1)카드 구매하기(1)mirrormaker2(1)단어 뒤집기 2(1)15663(1)10162(1)신고 결과 받기(1)구간 합 구하기 4(1)이동하기(1)선형대수학(1)17615(1)유기농 배추(1)치킨 배달(1)탐욕(1)스마일게이트 스토브(1)17070(1)17413(1)console-consumer.sh(1)2470(1)2210(1)11659(1)10799(1)10844(1)최대공약수와 최소공배수(1)프렌즈4블록(1)14888(1)Google Optimize(1)단지번호붙이기(1)18290(1)Delete Node in a Linked List(1)이친수(1)쇠막대기(1)프린터(1)적록색약(1)read only volume(1)날짜 계산(1)1158(1)10820(1)문자열 분석(1)1 2 3 더하기(1)9375(1)2231(1)카드 구매하기 2(1)7569(1)Valid Palindrome(1)kfq(1)자바스크립트(1)문자열(1)Plus One(1)뱀과 사다리 게임(1)에너지 모으기(1)UDP(1)20055(1)1926(1)숫자 정사각형(1)오큰수(1)2217(1)Moves Zeros(1)후위 표기식2(1)슬라임 합치기(1)1049(1)14562(1)2798(1)13549(1)14002(1)에디터(1)하노이 탑 이동 순서(1)Reverse-Integer(1)18405(1)1 2 3 더하기 5(1)로봇 청소기(1)섬의 개수(1)1309(1)시험 감독(1)2309(1)3190(1)1699(1)zookeeper(1)2606(1)2150(1)to do(1)1991(1)컨테이너(1)골드바흐의 추측(1)1935(1)2529(1)부등호(1)bootstrap(1)Intersection of Two Arrays II(1)13398(1)구간 합 구하기 5(1)이모티콘(1)1934(1)10824(1)N-Queen(1)1697(1)reverse string(1)20291(1)수 이어 쓰기 1(1)순위 검색(1)숨바꼭질 4(1)15657(1)1002(1)1388(1)동전 1(1)한 줄로 서기(1)차이를 최대로(1)1747(1)가장 긴 증가하는 부분 수열(1)구글 태그 매니저(1)나이트의 이동(1)11723(1)17298(1)10866(1)2225(1)사과나무(1)Pyton(1)13913(1)강의실 배정(1)11729(1)15990(1)네 수(1)데이터사이언스(1)N과 M(7)(1)두 용액(1)괄호 변환(1)11053(1)11054(1)LIS(1)Valid Sudoku(1)1003(1)Two Dots(1)시스템 버스(1)1051(1)연속합 2(1)큐 2(1)1918(1)2748(1)topics.sh(1)대결(1)dw(1)First Unique Character in a String(1)1389(1)N과 M(9)(1)소수&팰린드롬(1)Rotate Array(1)볼륨(1)메모(1)점프왕 쩰리(1)lettcode(1)그림(1)9009(1)13458(1)BABBA(1)D. Non-zero Segments(1)요세푸스 문제(1)124 나라의 숫자(1)11048(1)cpu(1)연결 요소의 개수(1)NM과 K(1)(1)2812(1)스도쿠(1)숫자판 점프(1)읽기 전용 볼륨(1)최소공배수(1)11655(1)연속합(1)(1)11725(1)1543(1)2293(1)1946(1)알고스팟(1)한국품질재단(1)(1)배열 돌리기 1(1)기타리스트(1)인구 이동(1)2743(1)2xN타일링(1)연구실(1)프로젝트(1)태권왕(1)제곱수의 합(1)1105(1)14226(1)15652(1)14425(1)단어 뒤집기(1)config.sh(1)크롤링(1)11656(1)접미사 배열(1)14241(1)aws(1)1541(1)11660(1)14225(1)9625(1)문자열 집합(1)2164(1)집합(1)14391(1)11060(1)Reverse Linked List(1)종이 조각(1)오픈채팅방(1)1541번(1)연산자 끼워넣기(1)주식가격(1)기능개발(1)소수 찾기(1)2178(1)Maximum Depth of Binary Tree(1)1138(1)N과 M(2)(1)3085(1)ROT13(1)터렛(1)2294(1)1463(1)2579(1)1로 만들기(1)계단 오르기(1)미로 탐색(1)4673(1)1874(1)15650(1)single number(1)11058(1)외판원 순회 2(1)크게 만들기(1)14502(1)BI 대시보드(1)B-tree(1)떡 먹는 호랑이(1)hash(1)16947(1)9613(1)Remove Nth Node From End of List(1)1260(1)9012(1)10828(1)면접후기(1)거리두기 확인하기(1)다음 순열(1)숨바꼭질 3(1)1489(1)설탕 배달(1)(1)수식 최대화(1)운영체제(1)스티커(1)11497(1)트리 순회(1)docker compose(1)9465(1)10026(1)셀프 넘버(1)spark(1)15989(1)서울 지하철 2호선(1)10973(1)단어 길이 재기(1)안전 영역(1)11399(1)피보나치 함수(1)10422(1)1012(1)효율적인 해킹(1)최대 힙(1)10972(1)11727(1)1743(1)1806(1)비트마스크(1)16926(1)카드2(1)스레드(1)16928(1)0-1bfs(1)GCD 합(1)1495(1)데스 나이트(1)다리를 지나는 트럭(1)15649(1)9095(1)bind-mount(1)11000(1)
post-thumbnail

과제 이해

쿠버네티스를 사용하지 않고 ec2 만 사용하면 scale in/out을 수동으로 해야 함.쿠버네티스를 이용하여 자동으로 scale in/out 및 각종 장애 상황 대응namespace 생성하여 관리mysql에 실시간으로 데이터 넣으면서 데비지움, 스트림, 미러메이커 테

2022년 11월 3일
·
0개의 댓글
·
post-thumbnail

kafka stream application

앞에서 만들었던 1부터 9999까지 숫자를 넣는 걸 이용.홀수인 숫자만 다시 토픽으로 넣는 스트림 애플리케이션을 개발 예정추후에 데이터 정해지면 해당 데이터에 맞게 개발 예정

2022년 10월 25일
·
0개의 댓글
·
post-thumbnail

Kafka Producer Application

python 파일을 python 이미지 안에 넣어서 이미지를 직접 만들었다.→ copy 안됨해결 방법파일을 직접 copy해서 해결.pip install kafka를 하게되면 아래와 같은 오류가 생긴다.따라서 pip install kafka-python으로 해결간단하게

2022년 10월 25일
·
0개의 댓글
·

미러메이커2

의문 다른 카프카 클러스터끼리 같은 주키퍼 앙상블을 사용해도 될까? 테스트 해보니 두 클러스터 모두 같은 토픽이 만들어졌다. 이걸 보아 다른 주키퍼로 해야하나?

2022년 10월 24일
·
0개의 댓글
·
post-thumbnail

카프카 커넥터 생성

이렇게 rest 요청을 전송한다.curl -X GET podIP:8083/connectorscurl -X GET podIP:8083/connectors/connectorname/status정상적으로 받아진다.

2022년 10월 21일
·
0개의 댓글
·

쿠버네티스에 카프카 커넥트 and debezium 구축

debezium에서 만든 이미지를 사용했다. 환경 변수 설정하는 데서 시간을 오래 잡아먹었는데 처음에는 s CONNECT\_를 앞에 붙여야 하는 줄 알았는데 알고 보니 빼고 써야 했다.statefulset으로 구성을 했다.bootstrap_servers -> 여기에 자

2022년 10월 18일
·
0개의 댓글
·
post-thumbnail

kafka broker 종료 테스트

kafka의 broker pod를 중단하면 재기동이 되는데 기동 후에 토픽의 데이터가 남아있는지 확인.kubectl get podskubectl delete pods kafka-broker-1데이터가 그대로 남아있다!!!!

2022년 10월 15일
·
0개의 댓글
·

statefulset kafka 클러스터 구축

KAFKA_ADVERTISED_LISTENERS에서 막혀서 일주일을 고생했는데 쿠버네티스 자체에서 podIP를 받을 수 있다. 환경 변수를 삽입해주면 해결!!aws loadbalancer 서비스 이용 예정

2022년 10월 15일
·
0개의 댓글
·

statefulset zookeeper 클러스터 구축

이건 쿠버네티스 공식문서에서 친절하게 설명해준다.링크replicas에서 설정한 수 만큼 생성현재 영구 볼륨이 노드에 존재하기 때문에 노드가 다운되면 볼륨 유지가 안된다.추후에 동적 프로비저닝 사용 예정

2022년 10월 15일
·
0개의 댓글
·

ex

https://tweety1121.tistory.com/entry/kubernetes-kafka-%EC%97%B0%EB%8F%99-with-springboot?category=1018271

2022년 10월 14일
·
0개의 댓글
·

zookeeper - 권한

zookeeper.yaml에 이렇게 설정하니 mkdir: cannot create directory '/var/lib/zookeeper/data': Permission deniedchown: cannot access '/var/lib/zookeeper/data': No

2022년 10월 11일
·
0개의 댓글
·

statefulset을 위한 pv

문제는 직접 만들어야 한다는 점... 자동 생성 방법을 찾아야겠다.

2022년 10월 11일
·
0개의 댓글
·

앞으로의 계획

ec2 인스턴스로 마스터 노드, 워커 노드 설정주키퍼 앙상블 쿠버네티스로 실행카프카 쿠버네티스로 실행데비지움 쿠버네티스로 실행미러메이커2를 이용하여 프로듀서, 컨슈머 클러스터 분리내가 이해한거로는 프로듀서가 클러스터1의 토픽에 데이터를 보내면 미러메이커2를 이용하여 컨

2022년 10월 9일
·
0개의 댓글
·
post-thumbnail

ubuntu에 쿠버네티스 설치 & 마스터, 워커 노드 설정

설치 초반 따라하기 -> 삭제 -> 노드 구성 -> 만약 container 실행중이 아니라고 하면 재실행 링크

2022년 10월 8일
·
0개의 댓글
·

모르는 용어들

스테이트풀셋애플리케이션의 상태를 저장하고 관리하는 데 사용되는 쿠버네티스 객체.기존의 포드를 삭제하고 생성할 때 상태가 유지되지 않는다.스테이트풀셋으로 생성되는 포드는 영구 식별자를 가지고 상태를 유지시킬 수 있다.헤드리스 서비스쿠버네티스 서비스 생성 시 .spec.c

2022년 10월 8일
·
0개의 댓글
·

debezium 이것 저것

여러 블로그를 참고해서 했습니다.번역 -> https://knight76.tistory.com/entry/debezium기술 -> https://velog.io/@ehdrms2034/Kafka-%EC%B9%B4%ED%94%84%EC%B9%B4-%EC%

2022년 10월 5일
·
0개의 댓글
·
post-thumbnail

debezium 설치?하기

저는 mysql을 이용했기 때문에 여기wget https://repo1.maven.org/maven2/io/debezium/debezium-connector-mysql/1.9.6.Final/debezium-connector-mysql-1.9.6.Final-pl

2022년 10월 5일
·
0개의 댓글
·
post-thumbnail

ec2 프리티어 카프카 클러스터 구축

추후에 mysql도 연결해야해서 3306 열었습니다.sudo apt-get updatesudo apt-get install openjdk-11-jdkcd ~wget https://mirror.navercorp.com/apache/zookeeper/zookeep

2022년 10월 5일
·
1개의 댓글
·

rds bin log

해결 방법 찾는 중...rds mysql을 사용하는 데 debezium을 사용하려면 bin_log가 켜져 있어야 한다. 하지만 aws에서 막았음...

2022년 10월 4일
·
0개의 댓글
·
post-thumbnail

AWS

aws 리전은 더 높은 가용성, 확장성, 내결함성을 위해서 다중의 가용영역으로 구성된다.어플리케이션과 데이터는 다른 가용영역 간에 실시간 복제가 되며 일관성을 가진다.완전히 격리된 하나 이상의 데이터 센터충분한 물리적 거리자가 전력 인프라수십반 대 규모의 서버완전히 격

2022년 9월 29일
·
0개의 댓글
·