Apache-Flink 시작하기

Apache-Flink 입문 입니다. 간단하게 환경 세팅 후, Flink 예제 하나 정도 살펴봤습니다.
Flink의 공식 문서와 패스트캠퍼스 강의 참고했습니다.
https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/learn-flink/overview/

Flink 소개

Flink 는 오픈소스 스트림 프로세싱 프레임워크 이다. 스트림 프로세싱이라 하면, 말 그대로 '흐르는' 데이터를 처리하는 프레임워크인데, 지속적으로 들어오는 데이터, 즉 실시간으로 계속해서 들어오는 데이터를 처리하는 프레임워크이다. (실시간이 주 목적인데, 배치 프로세싱도 가능하다.)

Flink의 주요한 특징(장점)은 세 가지 정도 있다.

• ⭐️ Fault-tolerance → 시스템 장애 시, 장애 직전으로 돌아가서 다시 시작 가능 (checkpoint 설정으로)
• ⭐️ Rescalability → 실행 도중에 리소스 추가 가능
• ⭐️ Exactly-once → 데이터가 한 번 실행된다는 것을 보장

Flink 는 실시간 데이터를 '처리' 하는 프레임워크이기 때문에, 데이터를 어디를 통해서 어떻게 받아오고, 처리한 데이터를 어디로 어떻게 보내겠다 등등의 '처리' 외의 부수적인 상황에 대해서는 통제하거나, 관여하지 않는다.
즉, 실시간 데이터를 처리하는 Pipeline 에만 온전히 집중할 수 있도록 해준다.

Flink DataStream Flow

그림 두 장이면 끝이다. Flink는 3개 Step의 매우 단순한 DataStream Flow를 갖는다.

1. Source
   • 데이터를 어디서 가져올 것인가? 데이터 출처
2. Transformation
   • 데이터를 어떻게 처리할 것인가? -> 여기에 데이터를 처리하는 주요 로직이 담기게 된다.
3. Sink
   • 처리한 데이터를 어디로 보낼 것인가? 처리 완료된 데이터 저장소

(Fault-tolerance 에 대한 부분은 추후 Toy 프로젝트를 통해 알아보고자 한다.)

Apache-Flink 환경 세팅

세팅 전, JobManager와 TaskManager를 사용하게 되는데,

Flink는 기본적으로 parallel and distributed 하다. 이를 담당하는 애들이 JobManager와 TaskManager인데, TaskManager는 말 그대로 어떤 task slot 에서 task를 수행하는 역할을 하고, JobManager가 TaskManager에게 task들을 분배하는 역할을 한다.

docker 가 설치되어 있는 환경에서, (필자는 인텔맥북을 쓰고 있다.)

$ FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager"
$ docker network create flink-network

$ docker run \
    --rm \
    --name=jobmanager \
    --network flink-network \
    --publish 8081:8081 \
    --env FLINK_PROPERTIES="${FLINK_PROPERTIES}" \
    flink:latest jobmanager

JobManager 를 launch 했다.

$ docker run \
    --rm \
    --name=taskmanager \
    --network flink-network \
    --env FLINK_PROPERTIES="${FLINK_PROPERTIES}" \
    flink:latest taskmanager

다음으로 TaskManager 를 launch 했다.

이렇게 로컬에서 기본적으로 Task Manager 1개를 가진 Flink 대시보드를 launch 할 수 있다.