AWS CUR(or DBR) 데이터 연동을 통한 리소스 비용 시각화 방법 리서치

Background

• 우리 팀은 모든 서비스가 AWS 에서 동작 한다. 그리고 AWS 이용을 위해 MSP 로 진행 하여, 파트너사에서 제공하는 Clipper 라는 빌링 페이지를 통해 각 리소스의 과금 상태를 확인할 수 있다.
• 그런데, Clipper 페이지를 접속하지 않고 AWS 비용 데이터를 S3 에 적재하여 'Redash 시각화', '커스텀 Tag 기반 비용 집계', '특정 리소스 사용량 알람 설정', 'EKS 클러스터 내 서비스별 비용 집계' 등에 대한 요구사항이 발생 했다.
• 관련하여 리서치 하였던 내용을 간단히 기록한다.

AWS CUR(Cost and Usage Report) 데이터 연동

• AWS 와 직계약 하여 사용하는 경우 직접 AWS Cost Explorer API 를 사용하거나, 계정의 빌링 설정을 통해 CUR 데이터를 S3 로 추출할 수 있다. 그러나 우리팀은 MSP 로 AWS 를 계약 하여 사용 중이기 때문에, API 도 사용할 수 없고 CUR 데이터를 직접 설정 하여 추출 할 수도 없었다.
• 파트너사에 문의해보니 이런 경우 대게 파트너사에서 요구하는 양식에 맞춰 계정 정보 및 요구사항을 전달 하면 CUR 데이터를 요청한 S3 Bucket 에 업로드 해준다고 한다.
• 아마, 많은 회사들이 MSP 로 AWS 를 이용할 것 같아 차후 같은 일이 있을 때 참고하면 좋을 것 같다.
• 나의 경우 파트너사에서 아래 정보를 요청 하였다.
  • S3 업로드 할 데이터 형태: DBR or CUR(관련 문서: 세부 결제 Reports에서 Cost and Usage Reports로 마이그레이션)
  • S3 Bucket Name
  • S3 Bucket Region
  • S3 Key Prefix
  • IAM User Access Key
  • IAM User Secret Access Key
  • AWS 계정 리스트
• 향후 작업 방향: CUR 데이터를 S3 에 적재하면, Glue Catalog 로 관리 하여 Athena 쿼리 가능하도록 만들 생각이다.

AWS EKS 클러스터 내 서비스 별 비용 측정

• EC2 인스턴스, Redshift 클러스터, EKS 클러스터 등 실질적인 리소스 단위는 위에 AWS CUR 데이터를 제공 받으면 자체 집계가 가능하다.
• 그러나, AWS EKS 내 서비스 별 또는 노드그룹 별 비용 집계는 CUR 데이터만 이용하기에 한계가 있다.
• 노드그룹의 경우 Kubernetes 에서 사용하는 논리적 개념이라 실제 리소스로 취급하지 않는다고 한다. 때문에 Tag 를 지정 하여도 Tag 기반 비용 집계가 바로 지원 되지는 않는다.
• 추가 리서치 중 카카오페이증권에서 작성한 클라우드 비용 가시화 관련 게시글을 보았다.
• Kubecost 라는 오픈소스를 이용하여 각 Pod 의 리소스 사용 비용을 측정하고 시각화 하였다고 한다.(Kubecost helm chart)

Kubecost 적용 방향

• 위 내용을 공유 드린 후 팀리드님이 추가 리서치를 도와 주셨는데, Kubecost 는 아래 이미지와 같이 EKS 클러스터 Add-on 으로도 제공한다고 한다.
• 아마, 실제 작업이 진행 되면 우리팀에서는 Add-on 으로 추가할 것 같다.
  

다음에...

• 리서치는 내가 했지만, 실제 작업은 언제, 누가 진행할지 아직 모른다. 중요한 내용 또는 주요 진행 과정은 차후 더 기록해 봐야겠다.

참고 문서

• Kubecost Helm chart: https://github.com/kubecost/cost-analyzer-helm-chart
• Kubecost 2.3 Installation Docs: https://docs.kubecost.com/install-and-configure/install
• AWS비용 및 사용 보고서란 무엇입니까?: https://docs.aws.amazon.com/ko_kr/cur/latest/userguide/what-is-cur.html
• 세부 결제 Reports에서 Cost and Usage Reports로 마이그레이션: https://docs.aws.amazon.com/ko_kr/cur/latest/userguide/detailed-billing-migrate.html
• 카카오페이증권, 클라우드 비용 가시화 그렇게 어렵지 않아요!: https://tech.kakaopay.com/post/cloud-cost-visualization/
• AWS Cost Explorer API 사용: https://docs.aws.amazon.com/ko_kr/cost-management/latest/userguide/ce-api.html
• 사용자 정의 비용 할당 태그 사용: https://docs.aws.amazon.com/ko_kr/awsaccountbilling/latest/aboutv2/custom-tags.html
• 비용 최적화로 나아가는 첫 단추, AWS Tagging을 활용하여 비용 가시성 확보하기 - 유정연, AWS | AWS Builders 온라인 시리즈: https://www.youtube.com/watch?v=mk2mi7O6cFc
• AWS 용 할당 태그를 사용한 AWS 비용 구성 및 추적: https://docs.aws.amazon.com/ko_kr/awsaccountbilling/latest/aboutv2/cost-alloc-tags.html