# stream processing

6개의 포스트

스트림 프로세싱(Stream Processing) 개요

스트림 프로세싱은 신규 데이터를 끊임없이 처리해 결과를 만들어내는 행위웹사이트 클릭로그, IoT 센서 데이터와 같이 시작과 끝이 없는 Unbounded 데이터를 입력으로 받아 다양한 쿼리 연산을 수행대부분의 배치 애플리케이션은 직관적이고 유지보수와 개발이 단순하고 스트

2022년 3월 15일
·
0개의 댓글
·
post-thumbnail

Flink로 시작하는 Stream processing 5 - Window Operator pt1

오늘은 개인적으로 Stream processing의 꽃이라고 생각하는 window operator에 대해 적어 보려고 합니다. Window operator는 간단하게 설명하자면, stream으로 흘들어 오는 이벤트를 묶어서 처리 하는 것입니다.

2021년 11월 7일
·
2개의 댓글
·
post-thumbnail

Flink로 시작하는 Stream processing 4 - Testing

개발자마다 조금식 다르겠지만, 제가 처음 개발을 시작 했을때, 제 코드는 완벽할줄 알았습니다. 하지만, 1년 2년 지나고, 다수에 프로젝트를 경험하고, 구현해야 하는 기능에 복잡도가 올라가는 순간, 제일 먼저 의심해야 하는건 제 코드라는 것을 빠르게 깨닫았습니다.

2021년 10월 24일
·
2개의 댓글
·
post-thumbnail

Flink로 시작하는 Stream processing 3 - 다양한 Transformation Operator

지난 시리즈에 이어서 요번에는 Flink가 기본적으로 제공해주는 transformation operator에 대해서 알아보려고 합니다.

2021년 10월 9일
·
0개의 댓글
·
post-thumbnail

Source Transformation Sink Operator - Flink

Flink로 stream processing program을 만든다면, operator라는 개념으로 프로그램을 구성하게 되며, Operator는 source, transformation 그리고 sink라는 3개의 종류로 분류 되어 있습니다.

2021년 9월 26일
·
0개의 댓글
·
post-thumbnail

Flink로 시작하는 Stream Processing 1

개요 저는 데이터 엔지니어로서, 2019년부터 Flink를 사용하여, stream processing을 업무에 적용하고 있습니다. 데이터 처리에 Flink 사용한 경험을 바탕으로, 데이터 엔지니어로서 Flink를 선택한 이유, Flink를 사용하는 여러가지 방법...

2021년 8월 15일
·
2개의 댓글
·