TeamCity 쿠버네티스로 이관하기

hbjs97·2024년 9월 2일

도커스웜에서 운영되던 teamcity를 쿠버네티스로 이관한 과정을 정리한다.
적절한 helm chart 가 없어 직접 배포했다.

팀시티 서버

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: teamcity-server
  namespace: teamcity
spec:
  serviceName: 'teamcity'
  replicas: 1
  selector:
    matchLabels:
      app: teamcity-server
  template:
    metadata:
      labels:
        app: teamcity-server
    spec:
      initContainers:
        - name: volume-permissions
          image: busybox
          command: ['sh', '-c', 'chown -R 1000:1000 /data/teamcity_server/datadir']
          volumeMounts:
            - name: teamcity-data
              mountPath: /data/teamcity_server/datadir
      containers:
        - name: teamcity-server
          image: jetbrains/teamcity-server:2024.07.1
          ports:
            - containerPort: 8111
          env:
            - name: TEAMCITY_SERVER_MEM_OPTS
              value: '-Xmx6g'
          resources:
            requests:
              memory: '4Gi'
              cpu: '4000m'
            limits:
              memory: '8Gi'
              cpu: '8000m'
          volumeMounts:
            - name: teamcity-data
              mountPath: /data/teamcity_server/datadir
  volumeClaimTemplates:
    - metadata:
        name: teamcity-data
      spec:
        accessModes: ['ReadWriteOnce']
        resources:
          requests:
            storage: 20Gi

서버 pod 에는 데이터베이스 외에도, 데이터베이스에 대한 연결 정보나 플러그인그 외 다른 데이터들도 저장된다. 재시작 시 다시 인스톨러를 보고싶지 않다면 위 정보를 stateful 하게 관리해야한다.

팀시티 에이전트

apiVersion: apps/v1
kind: Deployment
metadata:
  name: teamcity-agent
  namespace: teamcity
spec:
  replicas: 3
  selector:
    matchLabels:
      app: teamcity-agent
  template:
    metadata:
      labels:
        app: teamcity-agent
    spec:
      containers:
        # agent 의 build runner 로 docker 를 사용하고있다. dind 컨테이너를 사용해 Docker 데몬을 실행하고, TeamCity 에이전트 컨테이너에서 이 데몬에 연결한다.
        - name: dind
          image: docker:20.10-dind
          securityContext:
            privileged: true
          # 기본적으로 2376 에 TLS를 사용하는 Docker 데몬이 실행되지만, TeamCity 에이전트는 TLS를 사용하지 않으므로 2375 포트를 사용하게 명시해야한다.
          command: ['dockerd', '-H', 'tcp://0.0.0.0:2375', '-H', 'unix:///var/run/docker.sock']
          env:
            - name: DOCKER_DRIVER
              value: overlay2
          volumeMounts:
            - name: dind-storage
              mountPath: /var/lib/docker
        - name: teamcity-agent
          image: jetbrains/teamcity-agent:2024.07.1
          env:
            - name: SERVER_URL
              value: 'teamcity-server.teamcity.svc.cluster.local:8111'
            - name: AGENT_NAME
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
            - name: DOCKER_HOST
              value: 'tcp://localhost:2375' # DinD 컨테이너의 Docker 데몬에 연결
          resources:
            requests:
              cpu: '2000m'
              memory: '2Gi'
            limits:
              cpu: '4000m'
              memory: '4Gi'
          volumeMounts:
            - name: dind-storage
              mountPath: /var/lib/docker
      volumes:
        - name: dind-storage
          emptyDir: {}