
Python 3.11 기반 Apache Flink 1.19.0 를 로컬 테스트 할 수 있도록 세팅하고 AWS Managed Flink 에 APP deploy 하는 방법을 정리한다.

Docker 를 이용한 Apache Flink 1.15 로컬 테스트 환경 구축 가이드

aws cli 에서 UpdateApplication api 를 이용하여 aws managed flink 런타임 속성 업데이트 하기

Apache Flink ver 1.19.0 을 Mac OS M1 로컬 환경에서 작업할 수 있도록 개발 환경을 구성하고 간단한 예제를 통해 테스트 하는 방법을 기록한다.

Apache flink ver 1.19.0 로컬 개발 환경 구성 및 로컬 테스트 이후 AWS Managed Apache Flink 앱 배포를 위한 빌드 과정 및 실제 앱을 배포하여 모니터링 하는 과정을 정리해보자.

AWS Managed Apache Flink 운영 중 병렬성 스케일링 시 발생한 java.util.NoSuchElementException 장애 대응 기록

AWS Managed Apache Flink 앱을 재실행 할 때 java.io.FileNotFoundException: No such file or directory 장애가 발생할 경우 대응 방법을 기록해보자

AWS Managed Apache Flink 앱 실행 시 java.lang.RuntimeException: Error while waiting for BeamPythonFunctionRunner flush 장애가 발생하는 경우 장애 대응 방법을 기록하자.

AWS Managed Apache Flink 앱의 병렬성 자동 조정 규칙을 커스텀할 수 있는 방법을 기록한다.

AWS Managed Apache Flink - Table API 으로 Kafka connector 사용 시 발생하는 org.apache.flink.table.api.ValidationException 장애 대응 방법을 기록한다.

AWS Managed Apache Flink 에서 S3 접근 시 com.amazonaws.SdkClientException 장애가 발생할 경우 대응 방법 정리

Apache Flink 의 Checkpoint 에 대해 열심히 알아보고 정리하자.

AWS Managed Flink KPU auto scaling 시 KPUs 지표 모니터링하는 방법