post-thumbnail

JVM Memory

Flink나 Kafka Streams 같이 실시간으로 데이터 처리를 해주는 기술로 사용되는 framework들은 JVM에서 실행되기 때문에 Garbage Collection (GC) 에 예민 할수 밖에 없습니다. 그 이유는 GC 가 일어나는 동안에는 모든 프로그램이 멈

2022년 1월 2일
·
0개의 댓글
post-thumbnail

Go Test Suite 만들기

개발 초기에 개발자는 일반적으로 직접 코드를 실행 하여, 코드를 테스트 하곤 합니다. 다만 코드에 양 커짐에 따라, 초기에 적었던 코드를 반복적인 테스트를 해야 하는 상황이 많이 일어나며, 이는 많은 시간을 허비하게 됩니다...

2021년 12월 5일
·
0개의 댓글
post-thumbnail

AWS CDK로 시작하는 Infrastructure as Code

이번 블로그에는, 제가 현재 공부하고 있는 AWS CDK라는 도구에 대해서 이야기 해보려고 합니다.AWS CDK (Cloud Development Kit)는 AWS에 2019년 7월에 출시 되었으며, 궁극적으로는 AWS 에 존재하는 모든 service들을 IaC...

2021년 11월 21일
·
2개의 댓글
post-thumbnail

Flink로 시작하는 Stream processing 5 - Window Operator pt1

오늘은 개인적으로 Stream processing의 꽃이라고 생각하는 window operator에 대해 적어 보려고 합니다. Window operator는 간단하게 설명하자면, stream으로 흘들어 오는 이벤트를 묶어서 처리 하는 것입니다.

2021년 11월 7일
·
2개의 댓글
post-thumbnail

Flink로 시작하는 Stream processing 4 - Testing

개발자마다 조금식 다르겠지만, 제가 처음 개발을 시작 했을때, 제 코드는 완벽할줄 알았습니다. 하지만, 1년 2년 지나고, 다수에 프로젝트를 경험하고, 구현해야 하는 기능에 복잡도가 올라가는 순간, 제일 먼저 의심해야 하는건 제 코드라는 것을 빠르게 깨닫았습니다.

2021년 10월 24일
·
2개의 댓글
post-thumbnail

Flink로 시작하는 Stream processing 3 - 다양한 Transformation Operator

지난 시리즈에 이어서 요번에는 Flink가 기본적으로 제공해주는 transformation operator에 대해서 알아보려고 합니다.

2021년 10월 9일
·
0개의 댓글
post-thumbnail

Source Transformation Sink Operator - Flink

Flink로 stream processing program을 만든다면, operator라는 개념으로 프로그램을 구성하게 되며, Operator는 source, transformation 그리고 sink라는 3개의 종류로 분류 되어 있습니다.

2021년 9월 26일
·
0개의 댓글
post-thumbnail

Testcontainers 사용 기초

Test를 진행하는 여러가지 방식과 방법론에 대한 논제는 끊임없이 나오지만, Test에 대한 중요성은 누구도 부정할 수 없을거라고 생각합니다. 특히 데이터를 처리하는 코드를 작성하는 데이터 엔지니어에는 더욱 test가 중요할 수 밖에 없습니다...

2021년 8월 28일
·
1개의 댓글
post-thumbnail

Flink로 시작하는 Stream Processing 1

개요 저는 데이터 엔지니어로서, 2019년부터 Flink를 사용하여, stream processing을 업무에 적용하고 있습니다. 데이터 처리에 Flink 사용한 경험을 바탕으로, 데이터 엔지니어로서 Flink를 선택한 이유, Flink를 사용하는 여러가지 방법...

2021년 8월 15일
·
2개의 댓글
post-thumbnail

지극히 개인적인, 글을 쓰는 습관을 가지고 싶은 이유.

개발자로서 경력이 계속 쌓여가는데 제대로 된 블로그 글 하나 남기지 못하고...

2021년 7월 30일
·
0개의 댓글
post-thumbnail

2021에 반이 지난 지금, 지난 6개월의 키워드 기반 회고

2021벌써 상반기가 끝났는데 난 무었을 했을까!?

2021년 6월 25일
·
4개의 댓글