no space left on device

no space left on device 

prometheus를 배포하고 10gi 정도를 storageClass로 할당했으나 위와 같은 에러가 떴다.

개발 클러스터라 많은 양의 메트릭 정보가 들어갈거라고 생각하지 않았는데, 의외로 10Gi 로도 부족했다.

이럴때, 임의로 스토리지 클래스를 수정하면 에러가 발생할 수 있으니 아래 절차를 따라 보는 것을 추천한다.

1. 스토리지 클래스 수정을 위한 config 변경

# 스토리지 클래스 확인
k get sc

ebs csi driver가 잘 작동되고 있는걸 확인하면 변경을 위해 추가해야할 내용을 넣어야 한다.

# 스토리지 클래스를 수정하기 위한 명령어
k edit sc

# 아래 내용을 추가
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: standard
provisioner: kubernetes.io/aws-ebs
parameters:
  type: gp2
reclaimPolicy: Retain

allowVolumeExpansion: true   <---- 이거!

mountOptions:
  - debug
volumeBindingMode: Immediate

2. 용량 변경

k edit pvc {pvc 이름}

spec
  resources:
    requests:
      storage: 30gi  <-- 이 storage를 변경

이렇게 변경하고 나면 prometheus helm의 values의 내용도 함께 변경해야한다.

prometheus:
  prometheusSpec:
    storageSpec:
    # Using PersistentVolumeClaim
    #
      volumeClaimTemplate:
        spec:
          storageClassName: ebs-sc
          accessModes: ["ReadWriteOnce"]
          resources:
            requests:
              storage: 30Gi