목표

이번 4주차는 Gitlab과 argoCD를 활용한 Gitops 환경을 실습하는 것이 목표이다.

Harbor(컨테이너 이미지 저장소)

컨테이너 이미지 저장소로는 Docker Hub만 사용해봤지만, 이번 스터디를 온프로미스 컨테이너 저장소인 Harbor를 알게 되었다.

Harbor 설치

# 사용 리전의 인증서 ARN 확인
aws acm list-certificates --query 'CertificateSummaryList[].CertificateArn[]' --output text
CERT_ARN=`aws acm list-certificates --query 'CertificateSummaryList[].CertificateArn[]' --output text`
echo "alb.ingress.kubernetes.io/certificate-arn: $CERT_ARN"

# 하버 설치
helm repo add harbor https://helm.goharbor.io
helm fetch harbor/harbor --untar
vim ~/harbor/values.yaml
----------------------
expose.tls.certSource=none                        # 19줄
expose.ingress.hosts.core=harbor.<각자자신의도메인>    # 36줄
expose.ingress.hosts.notary=notary.<각자자신의도메인>  # 37줄
expose.ingress.hosts.core=harbor.gasida.link
expose.ingress.hosts.notary=notary.gasida.link
expose.ingress.controller=alb                      # 44줄
expose.ingress.className=alb                       # 46줄~
expose.ingress.annotations=alb.ingress.kubernetes.io/scheme: internet-facing
expose.ingress.annotations=alb.ingress.kubernetes.io/target-type: ip
expose.ingress.annotations=alb.ingress.kubernetes.io/listen-ports: '[{"HTTPS":443}, {"HTTP":80}]'
expose.ingress.annotations=alb.ingress.kubernetes.io/certificate-arn: ${CERT_ARN}
externalURL=https://harbor.<각자자신의도메인>          # 131줄
externalURL=https://harbor.gasida.link             
----------------------

# 모니터링
kubectl create ns harbor
watch kubectl get pod,pvc,ingress -n harbor

# 설치
helm install harbor harbor/harbor -f ~/harbor/values.yaml --namespace harbor --version 1.11.0

# 확인
# registry : 컨테이너 이미지를 저장
# chartmuseum : 하버를 컨테이너 이미지뿐 아니라, 헬름 차트 리포지토리로도 사용
# notary : 서명이 완료된 컨테이너 이미지만 운영 환경에 사용하도록 설정. 서명이 완료된 이미지는 별도로 구분
# trivy : 컨테이너 이미지의 보안 취약점을 스캔, 스캔 기능은 별도 솔루션에서 제공하여 관리자는 보안 스캔용 도구를 선택 가능
helm list -n harbor
kubectl get pod,pvc,ingress,deploy,sts -n harbor
kubectl get ingress -n harbor harbor-ingress -o json | jq
kubectl get-all -n harbor
kubectl krew install df-pv && kubectl df-pv

Harbor 웹 접속 및 이미지 업로드

#이미지 업로드 주소: https://harbor.<각자 자신의 도메인>
#로그인: admin/Harbor12345

# insecure 설정
cat <<EOT> /etc/docker/daemon.json
{
    "insecure-registries" : ["harbor.$KOPS_CLUSTER_NAME"]
}
EOT
cat /etc/docker/daemon.json
systemctl daemon-reload && systemctl restart docker

# 로그인 - 방안1
docker login harbor.$KOPS_CLUSTER_NAME -u admin -p Harbor12345
cat /root/.docker/config.json | jq

# 로그인 - 방안2
echo 'Harbor12345' > harborpw.txt
cat harborpw.txt | docker login harbor.$KOPS_CLUSTER_NAME -u admin --password-stdin
cat /root/.docker/config.json | jq

# 이미지 업로드
docker push harbor.$KOPS_CLUSTER_NAME/pkos/busybox:0.1

Harbor 저장소를 쿠버네티스 yaml파일에 지정하여 사용할 수 있으며, Docker Hub에서도 제공하 이미지 보안 스캔을 통해 이미지의 취약점을 파악 할 수 있다.

Gitlab

• 오픈소스 코드 원격 저장소로 서버에 직접 설치해서 사용 하는 설치형 버전 관리 시스템

Gitlab 설치

kubectl create ns gitlab

# 설치
helm repo add gitlab https://charts.gitlab.io/
helm repo update
helm fetch gitlab/gitlab --untar
vim ~/gitlab/values.yaml
----------------------
global:
  hosts:
    domain: <각자자신의도메인>             # 52줄
    https: true

  ingress:                             # 66줄~
    configureCertmanager: false
    provider: aws
    class: alb
    annotations:
      alb.ingress.kubernetes.io/scheme: internet-facing
      alb.ingress.kubernetes.io/target-type: ip
      alb.ingress.kubernetes.io/listen-ports: '[{"HTTPS":443}, {"HTTP":80}]'
      alb.ingress.kubernetes.io/certificate-arn: ${CERT_ARN}
      alb.ingress.kubernetes.io/success-codes: 200-399
      alb.ingress.kubernetes.io/group.name: "gitlab"
    tls:                               # 79줄
      enabled: false

certmanager:                           # 833줄 
  installCRDs: false
  install: false
  rbac:
    create: false

nginx-ingress:                         # 847줄 
  enabled: false

prometheus:                            # 904줄 
  install: false

gitlab-runner:                         # 1130줄 
  install: false
----------------------

helm install gitlab gitlab/gitlab -f ~/gitlab/values.yaml --namespace gitlab --version 6.8.1

# 확인 - SubCharts
# gitlab-gitaly : 웹서비스 혹은 ssh 방식으로 진행되는 깃 제목, 브랜치, 태그 등의 깃 요청 등에 대한 작업을 담당
# gitlab-gitlab-shell : https 가 아닌 ssh 방식으로 깃 명령어 실행 시 해당 요청을 처리
# gitlab-kas : gitlab agent server
# gitlab-postgresql : 유저, 권한, 이슈 등 깃랩의 메타 데이터 정보가 저장
# gitlab-redis-master : 깃랩 작업 정보는 레디스 캐시 서버를 이용하여 처리
# gitlab-sidekiq-all-in-1-v2 : 레디스와 연동하여 작업 큐 처리 용도로 사용
# gitlab-webservice-default : 깃랩 웹 서비스를 처리
helm list -n gitlab
kubectl get pod,pvc,ingress,deploy,sts -n gitlab
kubectl get-all -n gitlab

# 4개의 Ingress 가 1개의 ALB를 공유해서 사용 
# alb.ingress.kubernetes.io/group.name: "gitlab"

kubectl get ingress -n gitlab
NAME                        CLASS   HOSTS                  ADDRESS                                                             PORTS   AGE
gitlab-kas                  alb     kas.gasida.link        k8s-gitlab-3fbf5c8cab-1066962252.ap-northeast-2.elb.amazonaws.com   80      93s
gitlab-minio                alb     minio.gasida.link      k8s-gitlab-3fbf5c8cab-1066962252.ap-northeast-2.elb.amazonaws.com   80      93s
gitlab-registry             alb     registry.gasida.link   k8s-gitlab-3fbf5c8cab-1066962252.ap-northeast-2.elb.amazonaws.com   80      93s
gitlab-webservice-default   alb     gitlab.gasida.link     k8s-gitlab-3fbf5c8cab-1066962252.ap-northeast-2.elb.amazonaws.com   80      93s

# 웹 root 계정 암호 확인
kubectl get secrets -n gitlab gitlab-gitlab-initial-root-password --template={{.data.password}} | base64 -d ;echo
hhBvAjXoANx8kVIVpcwdgvc6A0kFDIIQFxikRDJfwVPBXn0dxmNBgc7zssSBskTj

# 웹 접속 https://gitlab.<각자 자신의 도메인> (root / 웹 root 계정 암호)

Gitlab 설정 & git clone & git push

# git 계정 초기화 : 토큰 및 로그인 실패 시 매번 실행해주자
git config --system --unset credential.helper
git config --global --unset credential.helper

# git 계정 정보 확인 및 global 계정 정보 입력
git config --list
git config --global user.name "<각자 자신의 Gitlab 계정>"
git config --global user.email "<각자 자신의 Gitlab 계정의 이메일>"

#gitlab 저장소로 사용할 로컬 디렉토리 생성
mkdir ~/gitlab-test && cd ~/gitlab-test

# git clone
git clone https://gitlab.$KOPS_CLUSTER_NAME/<각자 자신의 Gitlab 계정>/test-stg.git
Cloning into 'test-stg'...
Username : <생성한 계정 이름>
Password : <토큰 입력>

# 파일 생성 및 깃 업로드(push)
echo "gitlab test memo" >> test.txt
git add . && git commit -m "initial commit - add test.txt"
git push
Username : <생성한 계정 이름>
Password : <토큰 입력>

argoCD(핵심🙏)

참고1, 참고2
GitOps란 DevOps의 실천 방법 중 하나로 애플리케이션 배포와 운영에 관련된 모든 요소들을 Git에서 관리 하는것을 의미.
ArgoCD란 쿠버네티스를 위한 CD(Continuous Delivery)도구
즉, GitOps 방식으로 관리되는 Manifest(yaml)파일의 변경사항을 감시하며, 현재 배포된 환경의 상태 / Git Manifest파일에 정의된 상태를 동일하게 유지 하는 역할 수행

argoCD 설치

kubectl create ns argocd

# 설치
cd
helm repo add argo https://argoproj.github.io/argo-helm
helm repo update
helm install argocd argo/argo-cd --set server.service.type=LoadBalancer --namespace argocd --version 5.19.14

# 확인
# argocd-application-controller : 실행 중인 k8s 애플리케이션의 설정과 깃 저장소의 소스 파일에 선언된 상태를 서로 비교하는 컨트롤러. 상태와 다르면 ‘OutOfSync’ 에러를 출력.
# argocd-dex-server : 외부 사용자의 LDAP 인증에 Dex 서버를 사용할 수 있음
# argocd-repo-server : 원격 깃 저장소의 소스 코드를 아르고시디 내부 캐시 서버에 저장합니다. 디렉토리 경로, 소스, 헬름 차트 등이 저장.
helm list -n argocd
kubectl get pod,pvc,svc,deploy,sts -n argocd
kubectl get-all -n argocd

# CLB에 ExternanDNS 로 도메인 연결
kubectl annotate service -n argocd argocd "external-dns.alpha.kubernetes.io/hostname=argocd.$KOPS_CLUSTER_NAME"

# admin 계정의 암호 확인
ARGOPW=$(kubectl -n argocd get secret argocd-initial-admin-secret -o jsonpath="{.data.password}" | base64 -d)
echo $ARGOPW
mf8bOtNEq7iHMqq1

# 웹 접속 로그인 (admin) CLB의 DNS 주소로 접속 http, https
echo -e "Argocd Web URL = http://argocd.$KOPS_CLUSTER_NAME"

Gitlab 저장소와 k8s 클러스터 등록(argoCD CLI 설치)

# 최신버전 설치
curl -sSL -o argocd-linux-amd64 https://github.com/argoproj/argo-cd/releases/latest/download/argocd-linux-amd64
install -m 555 argocd-linux-amd64 /usr/local/bin/argocd
chmod +x /usr/local/bin/argocd

# 버전 확인
argocd version --short

# Help
# argocd app : 쿠버네티스 애플리케이션 동기화 상태 확인
# argocd context : 복수의 쿠버네티스 클러스터 등록 및 선택
# argocd login : 아르고시디 서버에 로그인 
# argocd repo : 원격 깃 저장소를 등록하고 현황 파악
argocd

# CLB 도메인 변수 지정
CLB=<각자 자신의 argocd 서비스의 CLB 도메인 주소>
CLB=adc4dcad7d21743c4b6524f37f2e7ca3-1872175753.ap-northeast-2.elb.amazonaws.com

# argocd 서버 로그인
argocd login $CLB --username admin --password $ARGOPW

# 기 설치한 깃랩의 프로젝트 URL 을 argocd 깃 리포지토리(argocd repo)로 등록. 깃랩은 프로젝트 단위로 소스 코드를 보관.
argocd repo add https://gitlab.$KOPS_CLUSTER_NAME/<깃랩 계정명>/test-stg.git --username <깃랩 계정명> --password <깃랩 계정 암호>
argocd repo add https://gitlab.$KOPS_CLUSTER_NAME/gasida/test-stg.git --username gasida --password P@ssw0rd
 
# 등록 확인 : 기본적으로 아르고시디가 설치된 쿠버네티스 클러스터는 타깃 클러스터로 등록됨
argocd repo list
TYPE  NAME  REPO                                            INSECURE  OCI    LFS    CREDS  STATUS      MESSAGE  PROJECT
git         https://gitlab.gasida.link/gasida/test-stg.git  false     false  false  true   Successful

# 기본적으로 아르고시디가 설치된 쿠버네티스 클러스터는 타깃 클러스터로 등록됨
argocd cluster list
SERVER                          NAME        VERSION  STATUS   MESSAGE                                                  PROJECT
https://kubernetes.default.svc  in-cluster           Unknown  Cluster has no applications and is not being monitored.

[과제1]: Harbor 에 자신만의 아무 이미지나 태그해서 업로드하고 다운로드 해보고, 관련 스샷 올려주세요.

이전 과제에서 사용했던 마리오 이미지를 Harbor에 업로드!
1. mario 이미지를 다운로드 후 tag 설정(harnor.burst89.com/pkos/mario:1.0)
2. harbor push
3. harbor web 확인

[과제2]: 자신만의 텍스트 파일을 kops-ec2 로컬에서 Gitlab 에 올려보고, 관련 스샷 올려주세요.

1. 4주차과제.txt파일 생성
2. git add
3. git push
4. gitlab 확인

[과제3]: ArgoCD 챕터인, 책 273페이지의 ‘Gitops 실습: 클러스터 설정 내역 변경과 깃 저장소 자동 반영’을 직접 스스로 실습해보고, 관련 스샷 올려주세요.

#Harbor에 올린 마리오 이미지를 다운받아 Pod를 배포하는 yaml파일 작성(mario_argocd.yaml)
기존 replicas 1 -> 2로 변경

1. Image 저장소를 harbor 저장소로 지정
2. harbor 확인(현제 pull 수는 1)
3. Gitlab push 및 확인
4. Application CRD를 이용하여 클러스터 동기화

#Application CRD yaml파일

apiVersion: argoproj.io/v1alpha1
kind: Application
metadata:
  name: mario
  namespace: argocd
  finalizers:
  - resources-finalizer.argocd.argoproj.io
spec:
  destination:
    namespace: mario
    server: https://kubernetes.default.svc
  project: default
  source:
    repoURL: https://gitlab.burst89.com/burst/test-stg.git
    path: mario
    targetRevision: HEAD
    directory:
      recurse: true
  syncPolicy:
    syncOptions:
    - CreateNamespace=true
    automated:
      prune: true

• repoURL: gitlab 주소
• path: mario, 로컬 gitlab저장소 위치
• directory: recurse: true -> 이전 실습에서 레빗엠큐는 헬름 차트를 이용해 어플리케이션을 배포하였지만, 현재 실습은 일반 디플로이먼크 및 서비스 yaml파일이므로 아르고시디에 directory로 지정(recurse옵션은 하위 디렉터리까지 배포한다는 의미)
• automated: prune: true -> 자동으로 동기화 및 prune: true의 경우 깃에서 오브젝트를 삭제하면 자동으로 클러스터에서도 삭제를 하게 하는 옵션

5. application CRD yaml파일 실행
   a. Deployment, svc, pod 생성
   b. argocd 웹화면에 mario 확인
   c. 싱크 확인

마리오 Pod 생성 순서
1. Gitlab에 마리오 yaml파일 저장
2. 해당 yaml파일은 컨테이너 이미지를 harbor에 있는 마리오 이미지를 다운로드 받을 수 있게 지정
3. Application CRD yaml파일을 통해 argocd 연동 및 pod 배포(해당 파일을 apply 하는 경우 pod 생성 및 argocd 연동까지 진행)

6. 실습을 위해 gitlab에 저장된 yaml파일을 수정하지 않고, edit 명령어를 통해 배포 상태를 변경

• 현재 replica를 2개에서 1개로 수정
• 수정 후 argocd에서 OutofSync 발생

7. argocd의 app diff메뉴에서 변경된 부분 확인
   a. Gitlab 소스코드 반영 없이 임의로 클러스터의 상태를 변경하게 되면 바로 argocd에서 확인 가능!!

8. Sync!!
   a. argocd에서 Sync버튼을 눌러 Sync를 마추면 원래 gitlab에 저장된 yaml파일을 통해 다시 원복
   즉, replicas의 수를 1에서 다시 2로 변경되면서 pod가 새로 생김

9. yaml파일을 수정 후, gitlab에 업데이트 하여 클러스터 상태를 변경하는 것
   Mario deployment의 replica 개수를 5로 변경

10. gitlab push

11. argoCD 확인(gitlab에서 yaml파일이 변경되었을 경우 별도의 argoCD에서는 반응이 없음)

12. sync를 진행하면 별도의 클러스터에서 edit 작업 없이 pod의 수가 변경되는 것을 확인

13. argoCD 확인(Pod 증가)

14. gitlab에서 직접 yaml파일 수정 후 argocd에서 sync를 하면 해당 내용이 클러스터에 바로 반영(replicas 10)

마무리

실제 GitOps환경을 실습해 보면서 처음 DevOps가 어떤 느낌인지를 알 수 있었다. 현업에서는 퍼블릭 클라우드에 인프라를 구성하고, 해당 인프라에 서비스를 올려서 운영을 하고 있다. 오늘 실습한 argoCD처럼 온프로미스 또는 클라우드에서 운영중인 서비스도 GitOps처럼 운영 관리 되는 솔루션이 어떤것이 있는지 찾아보고 실무에 적용을 해보고 싶다. 이렇게 하면 자주 겪는 누가 config 파일을 수정했고, 어떤 부분이 수정되어 이를 빠르게 파악하고 조취를 취한다면 훨씬 빠르고 안정적인 서비스 운영을 할 수 있을거 같다.
혹시 이미 이렇게 서비스를 운영중이라면... 댓글에 알려주시면 너무 감사할거 같다!
꼭 이를 응용해서 사용해 봐야 겠다!