profile
수동적인 과신과 행운이 아닌, 능동적인 노력과 치열함

[Kafka] 카프카 커넥트

데이터 파이프라인 생성 시 반복 작업을 줄이고 효율적인 전송을 이루기 위한 어플리케이션.반복적인 파이프라인 생성작업시 매번 프로듀서 컨슈머 어플리케이션을 개발하고 배포, 운영 하는것은 비효율적커넥트를 이용하면 특정한 작업 형태를 템플릿으로 만들어 놓은 커넥터 를 실행함

어제
·
0개의 댓글
post-thumbnail

[Gof 디자인패턴] Proxy 패턴

의도다른 객체에 대한 접근을 제어하기 위하 대리자 또는 자리채움자 역할을 하는 객체.프록시 종류원격 프록시 : 서로 다른 주소 공간에 존재하는 객체를 가리키는 대표 객체로, 로컬환경에 위치가상 프록시 : 요청이 있을때만 필요한 고비용 객체를 생성할때 사용보호 프록시

5일 전
·
0개의 댓글
post-thumbnail

카프카 스트림즈, DSL 개념

카프카 스트림즈는 토픽에 적재된 데이터를 실시간으로 변환하여 다른 토픽에 적재하는 라이브러리스트림즈는 카프카에서 공식적으로 지원하는 라이브러리그래서 카프카 버전 Update -> 카프카 스트림즈 라이브러리 Update따라서 자바 기반 스트림즈 어플리케이션은 카프카 클러

2021년 6월 14일
·
0개의 댓글

[Gof 패턴] 데코레이터 패턴, 퍼사드 패턴

의도 : 객체에 동적으로 새로운 책임을 추가할 수 있게 합니다. 기능을 추가하려면, 서브클래스를 생성하는 것보다 융통성 있는 방법을 제공.동기전체 클래스에 새로운 기능을 추가할 필요는 없지만 개별적인 객체에 새로운 책임을 추가할 필요 한 경우가 존재일반적인 방법은 상속

2021년 6월 13일
·
0개의 댓글
post-thumbnail

G7 총리들과의 대화를 보다가...

기사출처 : https://www.news1.kr/articles/?4337872기사 내용을 보면 G7 정상(+ 초청 4개국)들간의 회담등을 서로 했는데 눈에 띄는 부분이 있고 그것을 기억으로 남기고 싶어 포스팅을 한다.위 내용을 보면 문재인 대통령님께서 각국

2021년 6월 13일
·
1개의 댓글
post-thumbnail

[Kafka] 3장 카프카 기본개념 설명 (2)

토픽의 파티션으로부터 데이터를 가져가기 위해 컨슈머를 운영하는 방법은 크게 2가지가 존재.1개 이상의 컨슈머로 이루어진 컨슈머 그룹을 운영하는 것토픽의 특정 파티션만 구독하는 컨슈머를 운영하는 것컨슈머를 각 컨슈머 그룹으로부터 격리된 환경에 안전하게 운영할 수 있도록

2021년 6월 7일
·
0개의 댓글

[GOF 디자인 패턴] 구조 패턴 - 어댑터, 브릿지, 컴포지트 패턴

더 큰 구조를 형성하기 위해 어떻게 클래스 와 객체 를 합성하는가와 관련된 패턴.상속 기법을 이용하여 인터페이스나 구현을 복합어댑터 패턴브릿지 패턴복합체 패턴플라이급 패턴데코레이터 패턴의도 : 클래스의 인터페이스를 사용자가 기대하는 인터페이스 형태로 적응 시킵니다. 서

2021년 6월 5일
·
3개의 댓글
post-thumbnail

[Kafka] 3장 카프카 기본 개념 설명 (1)

이 포스팅은 최원영 저자님의 아파치 카프카 어플리케이션 프로그래밍 with 자바를 기반으로 정리한 포스팅입니다.카프카 클라이언트와 데이터를 주고받기 위해 사용되는 주체데이터를 분산 저장하여 장애가 발생하더라도 안전하게 사용할 수 있도록 도와주는 어플리케이션하나의 서버

2021년 5월 31일
·
1개의 댓글

[ElasticSearch] ElasticSearch란

ElsaticSearch는 뛰어난 검색능력과 대규모 분산 시스템을 구축할 수 있는 다양한 기능들을 제공하는 플랫폼Apache Lucene 기반의 오픈소스(near-) RealTime 분석 시스템클러스터가 실행되고 있는 동안에 계속 데이터가 입력되고, 동시에 색인된 데이

2021년 5월 31일
·
0개의 댓글
post-thumbnail

카프카 2장 - 커맨드라인 툴

카프카를 설치하면 다양한 명령어가 담긴 커맨트라인 툴을 이용할 수 있는데, 그 종류가 매우 많다.실제로 카프카의 커맨드 라인툴을 이용해서 데이터를 producer 하는 경우는 많지는 않지만, 실무에서 클러스터를 운영할 때 자주 쓰인다고 한다.또한, 커맨드 라인 툴을 통

2021년 5월 30일
·
0개의 댓글
post-thumbnail

[Kafka] 카프카 설치

카프카를 로컬환경에서 사용하기 위해서는 주키퍼등 여러가지 설치 및 설정을 해야할 것이 많다.따라서 나는 카프카를 도커 환경에다 설치해서, 로컬환경과 개발환경을 분리하는 방법을 택했다.docker-compose.yaml 작성Kafka는 주키퍼 라는 분산 코디네이터 프레임

2021년 5월 30일
·
0개의 댓글

[스터디 1주차] Gof - 생성패턴

생성패턴은 인스턴스를 만드는 절차를 추상화하는 패턴.객체의 표현방법과 시스템을 분리해주는 것클래스 생성패턴이 인스턴스로 만들 클래스를 다양하게 만들기 위한 용도로 상속을 하는반면, 객채생성패턴 은 인스턴스화 작업을 다른 객체에게 떠넘길 수 있다.생성 패턴이 중요해지는

2021년 5월 30일
·
0개의 댓글

[Kafka] 1장 들어가며

아파치 카프카 어플리케이션 With Java 책을 정리하여 쓴 글입니다 😎카프카는 링크드인에서 제작됨파편화된 데이터 파이프라인의 복잡도를 낮춰주는 아키텍쳐를 위해 설계됨.기존의 링크드인 시스템은 소스 <-> 타깃 어플리케이션간의 연결하는 파이프라인 갯수가 많아지

2021년 5월 22일
·
0개의 댓글
post-thumbnail

[Spring] Application.properties 한글깨짐

스프링 프로젝트를 구성하던 중 local,dev,real별 환경설정을 하다가 간단하게을 했는데 자꾸 한글이 깨지는 것이었다.처음에는 intellij나 slf4j에서 한글을 받아들이지 못하는구나 생각해서 다음과 같은 방법을 취해봤다.아무리 해도 안되서 근본적으로 의문이

2021년 5월 17일
·
0개의 댓글
post-thumbnail

Java 8(9) : Reactive Java

이 포스팅은 현재 작성중인 포스팅입니다 :) 👨‍💻 👋👋리액티브 프로그래밍이란 무엇이고 어떻게 동작하는지 확인하기 앞서, 리액티브 프로그래밍 패러다임의 중요성이 증가하는 이유를 확인할 필요가 있다. 오늘날 소프트웨어의 아키텍쳐는 다음과 같은 세가지 이유로 상황이

2021년 5월 14일
·
0개의 댓글

Java 8 : 안정적 비동기 프로그래밍 Completable Future

현재 포스팅 작성중입니다. start Date : 5/10자바 5부터는 미래의 어느 기점에 결과를 얻는 모델에 활용할 수 있도록 Future 인터페이스를 제공하고 있다. 비동기 계산을 모델링하는데, Future를 이용할 수 있으며, Future는 계산이 끝났을 때 결과

2021년 5월 10일
·
0개의 댓글
post-thumbnail

Java 8 : CompletableFuture와 리액티브 프로그래밍 컨셉의 기초

현재 해당 포스팅을 작성중 👨‍💻이번장은 작성하는데 왜이렇게 힘이 드는지...하나의 쓰레드나 프로세서의 여러 Task를 관리함으로써, 마치 동시에 작업이 수행되고 있는 것처럼 보이는 것Task의 실행을 하드웨어 수준으로 실행되며, 각각의 작업들이 독립적임운영체제는

2021년 4월 19일
·
0개의 댓글

Java 8 : Collector 정리

컬렉터란 스트림의 요소를 어떤식으로 도출할지 지정하는 함수.훌륭하게 설계된 함수형 API의 또다른 장점은 높은 수준의 조합성과 재사용성을 꼽을 수 있다.collect로 결과를 수집하는 과정을 간단하면서도 유연한 방식으로 정의할 수 있다는 점이 컬렉터의 최대 강점이다.S

2021년 4월 17일
·
0개의 댓글

Java 8 : 스트림 활용

스트림을 요소로 선택하는 방법, Predicate로의 필터링과 고유요소로의 필터링이 있다.filter 메소드는 Preicate를 인수로 받아서, 일치하는 모든 요소를 포함하는 스트림을 반환한다.스트림은 고유 요소로 이루어진 스트림을 반환하는 distinct 메소드 지원

2021년 4월 6일
·
0개의 댓글

JAVA 8 : 스트림 기본

스트림은 Java 8 API 에 새로 추가된 기능선언형으로 컬렉션 데이터를 처리할 수 있음멀티쓰레드 코드를 구현하지 않아도 데이터를 투명하게 병렬로 처리가능filter, sorted, map, collect 같은 여러 빌딩 블록 연산을 연결해서 복잡한 데이터 처리 파이

2021년 4월 4일
·
0개의 댓글