AWS Managed Apache Flink - Auto scaling 규칙 조정하는 방법

Background

• AWS Managed Apache Flink 앱을 운영중인데, auto-scaling 이 조금 더 민감하게 적용 되었으면 좋겠다는 니즈가 생겼다.
• 관련하여 리서치한 자료를 기록한다.
• 아직 직접 적용해보지는 못했다.
• 해당 게시글에 작성중 태그를 달고 지속해서 업데이트할 예정이다.

병렬성 자동 조정

기존 auto-scaling

CloudWatch 지표 중 containerCPUUtilization 값이 1분 단위로 75% 이상인 데이터 포인트가 15개 누적 되면 ScaleUp 액션이 수행 된다고 한다.

커스텀 auto-scaling

병렬성 자동 조정이 좀 더 민감하게 진행 되길 바란다면 아래 참고 자료를 이용하여 작업할 수 있을 것 같다.
대략 아키텍처는 아래와 같다고 한다.

📌 아래 Github 에 있는 예제 json 파일을 이용해서 aws cloudformation 에 업로드하면 바로 적용 가능한 것 같다.
테스트용 앱 빌드해서 사용해보자

참고 자료

• https://docs.aws.amazon.com/ko_kr/managed-flink/latest/java/how-scaling-auto.html
• https://github.com/aws-samples/amazon-managed-service-for-apache-flink-examples/blob/main/infrastructure/AutoScaling/README.md
• https://aws.amazon.com/ko/blogs/big-data/enhanced-monitoring-and-automatic-scaling-for-apache-flink/