목표

이번 3주차에는 2주차에 이어 로드밸런스컨트롤러와 Ingress(ALB) 설정에 대해서 실습 할 예정이다. 또한 쿠버네티스의 스토리지가 어떻게 구성되어 있고, 어떠한 종류의 스토리지가 있는지 살펴 볼 예정이다.

Ingress

클러스터 내부의 서비스(ClusterIP, NodePort, Loadbalancer)를 외부로 노출(HTTP/HTTPS) - Web Proxy 역할

기본 설정

kops edit cluster
-----
spec:
  certManager:
    enabled: true
  awsLoadBalancerController:
    enabled: true
  externalDns:
    provider: external-dns
-----

# 업데이트 적용
kops update cluster --yes && echo && sleep 3 && kops rolling-update cluster

서비스/파드 배포 with Ingress(ALB)

#ingress1.yaml

apiVersion: v1
kind: Namespace
metadata:
  name: game-2048
---
apiVersion: apps/v1
kind: Deployment
metadata:
  namespace: game-2048
  name: deployment-2048
spec:
  selector:
    matchLabels:
      app.kubernetes.io/name: app-2048
  replicas: 2
  template:
    metadata:
      labels:
        app.kubernetes.io/name: app-2048
    spec:     
      containers:
      - image: public.ecr.aws/l6m2t8p7/docker-2048:latest
        imagePullPolicy: Always
        name: app-2048
        ports:
        - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  namespace: game-2048
  name: service-2048
spec:
  ports:
    - port: 80
      targetPort: 80
      protocol: TCP
  type: NodePort
  selector:
    app.kubernetes.io/name: app-2048
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  namespace: game-2048
  name: ingress-2048
  annotations:
    alb.ingress.kubernetes.io/scheme: internet-facing
    alb.ingress.kubernetes.io/target-type: ip
spec:
  ingressClassName: alb
  rules:
    - http:
        paths:
        - path: /
          pathType: Prefix
          backend:
            service:
              name: service-2048
              port:
                number: 80

# 게임 파드와 Service, Ingress 배포
kubectl apply -f ~/pkos/3/ingress1.yaml

# 생성 확인
kubectl get-all -n game-2048
kubectl get ingress,svc,ep,pod -n game-2048
kubectl get targetgroupbindings -n game-2048

# Ingress 확인
kubectl describe ingress -n game-2048 ingress-2048

# 게임 접속 : ALB 주소로 웹 접속
kubectl get ingress -n game-2048 ingress-2048 -o jsonpath={.status.loadBalancer.ingress[0].hostname} | awk '{ print "Game URL = http://"$1 }'

Storage

EC2 인스턴스 스토어(임시 블록 스토리지)

참고

• AWS Instance가 EBS가 아닌 HOST 서버의 스토리지를 연결해서 사용하는 스토리지.
• Instance 입장에서는 로컬 스토리지를 사용하는 것이기 때문에 속도가 빠름.
• 데이터 손실 : 기본 디스크 드라이브 오류, 인스턴스가 중지됨, 인스턴스가 최대 절전 모드로 전환됨, 인스턴스가 종료됨
• 인스턴스 스토어는 스토리지 정보에 출력되지는 않음
• 재부팅 후에도 연결된 볼륨을 자동으로 탑재 설정 가능(fstab)

쿠버네티스 스토리지

• 파드 내부의 데이터는 파드가 정지되면 모두 삭제됨(휘발성)
• 데이터베이스(파드)처럼 데이터 보존이 필요
  → 로컬 볼륨(hostPath) ⇒ 퍼시스턴트 볼륨(Persistent Volume, PV) - 어느 노드에서도 연결하여 사용 가능, 예시) NFS, AWS EBS, Ceph 등
  (출처: https://kubetm.github.io/k8s/03-beginner-basic-resource/volume/)

기본 컨테이너 환경의 임시 디스크 사용 예시

# 파드 배포
# date 명령어로 현재 시간을 10초 간격으로 /home/pod-out.txt 파일에 저장
cat ~/pkos/3/date-busybox-pod.yaml | yh
kubectl apply -f ~/pkos/3/date-busybox-pod.yaml

# 파일 확인
kubectl get pod
kubectl exec busybox -- tail -f /home/pod-out.txt
Sat Jan 28 15:33:11 UTC 2023
Sat Jan 28 15:33:21 UTC 2023
...

# 파드 삭제 후 다시 생성 후 파일 정보 확인 > 이전 기록이 보존되어 있는지?
kubectl delete pod busybox
kubectl apply -f ~/pkos/3/date-busybox-pod.yaml
kubectl exec busybox -- tail -f /home/pod-out.txt

AWS EBS Controller

EBS CSI driver 동작 : 볼륨 생성 및 파드에 볼륨 연결

PV생성 테스트

# kOps 설치 시 기본 배포됨
kubectl get pod -n kube-system -l app.kubernetes.io/instance=aws-ebs-csi-driver
# 스토리지 클래스 확인
kubectl get sc kops-csi-1-21 kops-ssd-1-17

# PVC, 파드 확인
kubectl get pvc,pv,pod
kubectl df-pv

# 추가된 EBS 볼륨 상세 정보 확인 
aws ec2 describe-volumes --volume-ids $(kubectl get pv -o jsonpath="{.items[0].spec.csi.volumeHandle}") | jq

# 파일 내용 추가 저장 확인
kubectl exec app -- tail -f /data/out.txt

# 파드 내에서 볼륨 정보 확인
kubectl exec -it app -- sh -c 'df -hT --type=ext4'
Filesystem     Type  Size  Used Avail Use% Mounted on
/dev/nvme1n1   ext4  3.9G   16M  3.8G   1% /data
/dev/root      ext4  124G  4.9G  120G   4% /etc/hosts

볼륨 증가(감소는 안됌!)

# 현재 pv 의 이름을 기준하여 4G > 10G 로 증가 : .spec.resources.requests.storage의 4Gi 를 10Gi로 변경
kubectl get pvc ebs-claim -o jsonpath={.spec.resources.requests.storage} ; echo
kubectl get pvc ebs-claim -o jsonpath={.status.capacity.storage} ; echo
kubectl patch pvc ebs-claim -p '{"spec":{"resources":{"requests":{"storage":"10Gi"}}}}'

# 확인 : 수치 반영이 조금 느릴수 있다
kubectl exec -it app -- sh -c 'df -hT --type=ext4'
kubectl df-pv  
aws ec2 describe-volumes --volume-ids $(kubectl get pv -o jsonpath="{.items[0].spec.csi.volumeHandle}") | jq

AWS Volume SnapShots Controller

스냅샷 기능 제공!

설치

# kOps 클러스터 편집
kops edit cluster
-----
spec:
  snapshotController:
    enabled: true

# 업데이트 적용
kops update cluster --yes && sleep 3 && kops rolling-update cluster

kubectl get crd | grep volumesnapshot

---

[과제1]: Ingress(with 도메인, 단일 ALB 사용)에 PATH /mario 는 mario 게임 접속하게 설정하고, /tetris 는 tetris 게임에 접속하게 설정하고, SSL 적용 후 관련 스샷 올려주세요.

#호스트 도메인: albweb.burst89.com
#테트리스: albweb.burst89.com/tetris / 마리오: albweb.burst89.com/mario
#인증서 정보
#ALB 정보 / 리스너 정보
#ALB 리스터 룰 정보
#TG 정보
룰 내용을 살펴보면, /mario의 경우 k8s-game2048-servicet-ca0f338cf8 TG(mario TG)로 포워딩을 하고
/tetirs의 경우 k8s-game2048-servicem-39ab8f8d1a TG(tetris TG)로 포워딩을 하는 것을 볼 수 있다.
각 TG의 경우 Pod가 다이렉트로 연결되어 있는 것을 확인 할 수 있다.
#Pod 및 ingress, service 정보

[과제2]: 호스트 Path(local-path-provisioner) 실습 및 문제점 확인과 성능 측정 후 관련 스샷 올려주세요.

#local-path-provisioner 배포(현재 Node1에 Pod 생성)
#파드가 배포된 워커노드 drain해서 문제 확인
1. 워커노드 변수 지정
2. Pod draing
3. 상태확인
4. local-path 스토리지클래스에서 생성되는 PV 에 Node Affinity 설정 확인
5. 파드가 배포된 워커노드에 장애유지 보수를 완료 후 uncordon 정상 상태로 원복 Failback
6. 데이터 확인

#성능측정
1. Read IOPS 3000 확인
2. Write IOPS 3000 확인

[과제3]: AWS EBS를 PVC로 사용 후 온라인 볼륨 증가 후 관련 스샷 올려주세요.

#현재 적용된 PVC 용량 확인(4Gi)
#AWS console에서 생성된 4Gi 볼륨을 확인 할 수 있음.
#온라인 상에서 볼륨 확장을 할 수 있는 이유는 스토리지 클래스가 볼륨 확장 기능을 제공하기 때문.
#k edit pvc ebs-claim으로 스펙 변경(30Gi)
#30Gi 변경 확인

[과제4]: AWS Volume SnapShots 실습 후 관련 스샷 올려주세요.

#스냅샷 컨트롤러 설치 확인

#스냅샷 클래스 생성 및 확인
#생성

kubectl apply -f https://raw.githubusercontent.com/kubernetes-sigs/aws-ebs-csi-driver/master/examples/kubernetes/snapshot/manifests/classes/snapshotclass.yaml

#확인

#스냅샷 생성(생성한 볼륨스냅샷클래스와, 스냅샷을 진행 할 pvc명 작성)

#스냅샷 생성 확인

#장애발생(pvc, pod 삭제) / Pod 및 pvc, 생성된 볼륨이 존재하지 않음.

#스냅샷 복원
#pv,pvc, pod 생성 및 pv bound 확인!!

마무리

이번 3주차 스터디에서는 ingress와 쿠버네티스 스토리지에 대해서 학습을 하였다.
이번 주차 과제 1번을 해결하느라 거의 주중 내내 시도했던거 같다.... 다행이 스터디를 같이 하시는 강재민님께서 조금 도움을 주셔서 해결 할 수 있었다..
점점 스터디가 어려워 지는거 같다... !! 그래도 꼭 완주 할 수 있도록 더 열심히 해야겠다!