Flink는 분산현 빅 데이터 분석을 위한 오픈소스 플랫폼 입니다.
비슷한 플랫폼으로는 Apache Storm, Spark Streaming등이 있습니다.
Flink는 Streaming model이 batch가 아닌 native 방식으로 스트림 처리를 하기 때문에 low latency 특성을 가집니다.
그리고 Exactly-once를 보장하고 높은 처리량을 보이기 때문에 최근 스트림 처리 분야에서 인기를 끌고 있습니다.
low latenct : 낮은 대기시간
Exactly-once : 정확하게 한번의 메세지 전송을 보장, 중복과 유실이 없음
Flink의 동작
Data Source : Flink에서 처리하는 수신 데이터
Transformations : 데이터 처리 단계, 데이터를 가공
Data Sink : 가공된 데이터를 보냄
Source, Sink는 로컬 / HDFS(Hadoop Distributed File System), DB, 메세지 대기열 등이 될 수 있습니다.
반도체 IT System Developer