🐋🐳1) Travis CI + Docker + S3 + CodeDeploy + nginx + springboot 이미지, 컨테이너를 EC2 환경에서 실행하기

이전에 Travis CI + S3 + CodeDeploy 를 통해 스프링부트 프로젝트를 EC2 인스턴스에 배포하는 과정까지 진행하였다.

나는 도커를 통한 배포를 원해서 구글링을 해보긴 했는데, 대부분 "EC2 환경에 프로젝트를 올리고, 쉘 스크립트를 사용해 도커 이미지 빌드 후 컴포넌트를 실행하는 방식" 으로 내가 원하는 과정이 아니었다..

참고를 많이 했던 블로그
https://devlog-wjdrbs96.tistory.com/317

---

🐳🔧도커 허브 + Travis CI

내가 원한 방식은 도커허브를 같이 이용하는 방법이었음.
그래서 생각한 방법은 Travis CI 환경에서 이미지 파일을 빌드하여 도커 허브에 Push, EC2에서 이미지파일을 Pull 해와서 컨테이너를 실행시키는 동작으로 워크플로우를 작성해보기로 하였다.

• 1. Git Hub 커밋
• 2. Travis CI 이미지 빌드 및 푸시
  • 2-1) SpringBoot .jar파일을 만들기 위해 gradle build
  • 2-2) 도커 허브에 프로젝트 이미지 Push (SpringBoot .jar로 이뤄진)
  • 2-3) Nginx의 conf 파일을 이용하여 Nginx 이미지 파일 도커허브에 Push
• 3. Travis CI Deploy
  • 3-1) AWS S3에 [쉘 스크립트, 도커 컴포즈 파일, Appspec 파일]을 압축하여 업로드
  • 3-2) CodeDeploy를 통해 EC2에 해당 압축 파일을 압축해제하여 배포
• 4. EC2에서 appspec파일의 쉘 스크립트 트리거 동작
  • 4-1) 실행 중인 도커 컨테이너 확인 -> 종료
  • 4-2) 도커 최신 이미지 Pull
  • 4-3) Pull한 최신 이미지로 도커 컨테이너 실행

---

🔧 Travis CI 워크플로우

내가 생각한 travis.yml 동작 단계

1. Gradle을 통해 jar파일 빌드
2. Docker 이미지 빌드
3. Docker 허브에 푸시
4. 컴포넌트 관련 파일 디플로이
5. EC2에서 배포 확인, Docker Image Pull & Docker Compose Up (이미지 풀 및 컨테이너 실행) -> 쉘 스크립트

배포 트러블 슈팅

---

1) .travis.yml 파일

아래 찬찬히 뜯어서 설명하도록 하겠다.

branches:
  only:
    - master

services:
  - docker

jobs:
  include:
    - stage: SpringBoot gradle build & Build Gradle Docker Image
      language: java
      jdk:
        - openjdk11

      #cache:
      #  directories:
      #    - '$HOME/ .m2/repository'
      #    - '$HOME/ .gradle'
      before_install:
        - chmod +x gradlew
      script:
        - ./gradlew clean build
        - docker build -t $SPRING_REPO -f ./Dockerfile .
        - echo $DOCKER_PASS | docker login -u $DOCKER_USER --password-stdin
        - docker push $SPRING_REPO

    - stage: Build Nginx Docker image
      sudo: required
      language: generic
      script:
        - docker build -t $NGINX_REPO -f ./Dockerfile-nginx .
        - echo $DOCKER_PASS | docker login -u $DOCKER_USER --password-stdin
        - docker push $NGINX_REPO

    - stage: Deploy Stage
      language: generic

      before_deploy:
        - zip -r "s3에 등록할 파일 이름" ./docker-compose.yaml ./appspec.yml
        - mkdir -p deploy -- 배포시 참조할 디렉터리
        - mv "s3에 등록할 파일 이름".zip deploy/prac-built.zip
      after_success:
        - wget https://raw.githubusercontent.com/DiscordHooks/travis-ci-discord-webhook/master/send.sh
        - chmod +x send.sh
        - ./send.sh success $WEBHOOK_URL
      deploy:
        - provider: s3
          access_key_id: $AWS_ACCESS_KEY
          secret_access_key: $AWS_ACCESS_SECRET
          bucket: s3 버킷이름
          region: ap-northeast-2
          skip_cleanup: true
          acl: private
          local_dir: deploy -- 배포시 참조할 디렉터리
          wait-until-deployed: true

        - provider: codedeploy
          access_key_id: $AWS_ACCESS_KEY
          secret_access_key: $AWS_ACCESS_SECRET
          bucket: s3 버킷이름
          key: s3에 등록된 파일 객체 키 값
          bundle_type: zip
          application: 코드 디플로이 앱 이름
          deployment_group: 코드 디플로이 그룹 이름
          region: ap-northeast-2
          wait-until-deployed: true

1-1) 기본 설정

branches:
  only:
    - master

services:
  - docker

• branches: Travis CI가 github에 어떤 브렌치에 커밋이 발생했을 때 해당 travis 파일을 실행할지 정함.
• services: Travis 환경에서 실행할 서비스

docker build

docker build -t 이미지이름:latest -f ./도커파일 .
// -f : 특정 도커파일을 지정할때 쓰는 옵션
// 이미지이름 : 허브에 저장된 유저네임/레포이름 이렇게도 쓸수있음
// . : 도커파일이 있는 현재 디렉토리

language

language: 사용할 프로그래밍 언어나 프레임 워크를 지정하는 부분.
ex) language: java -> 자바로 설정, language: generic

1-2) Travis CI 단계별 작업

https://docs.travis-ci.com/user/job-lifecycle/
https://docs.travis-ci.com/user/build-stages/

jobs:
  include:
    - stage:

• jobs: 단계별 작업을 실행하기 위한 블럭. jobs 블록에 정의된 작업은 순서대로 실행되며, 각 작업이 이전 작업이 성공적으로 완료되어야만 실행
• include: 작업의 세션 정의를 위한 블럭
• stage: 위->아래로 진행되는 단계별 작업, 이름을 부여하고, Travis CI의 빌드 스테이지에서 이를 확인 가능함.

jobs:
  include:
    - stage: SpringBoot gradle build & Build Gradle Docker Image
      language: java
      jdk:
        - openjdk11

      #cache:
      #  directories:
      #    - '$HOME/ .m2/repository'
      #    - '$HOME/ .gradle'
      before_install:
        - chmod +x gradlew
      script:
        - ./gradlew clean build
        - docker build -t $SPRING_REPO -f ./Dockerfile .
        - echo $DOCKER_PASS | docker login -u $DOCKER_USER --password-stdin
        - docker push $SPRING_REPO

• SpringBoot 프로젝트를 gradle 파일을 이용해 빌드하고,
• 빌드된 .jar파일을 이용해 도커 이미지파일을 빌드하고 도커허브에 푸쉬.
• .jar파일을 빌드 하자마자 도커 이미지 파일을 빌드한 이유는 두 작업을 분리하여 stage를 작성할시에 각 stage는 서로 다른 vm 환경에서 실행되어서 도커 이미지 빌드시 .jar파일을 찾을수 없기 때문..
  트러블 슈팅

    - stage: Build Nginx Docker image
      sudo: required
      language: generic
      script:
        - docker build -t $NGINX_REPO -f ./Dockerfile-nginx .
        - echo $DOCKER_PASS | docker login -u $DOCKER_USER --password-stdin
        - docker push $NGINX_REPO

• SpringBoot에 리버스 프록시를 통해 포트포워딩을 해줄 nginx 도커 이미지 생성 후 도커 허브에 푸시

    - stage: Deploy Stage
      language: generic

      before_deploy:
        - zip -r "s3에 등록할 파일 이름" ./docker-compose.yaml ./appspec.yml
        - mkdir -p deploy -- 배포시 참조할 디렉터리
        - mv "s3에 등록할 파일 이름".zip deploy/prac-built.zip
      after_success:
        - wget https://raw.githubusercontent.com/DiscordHooks/travis-ci-discord-webhook/master/send.sh
        - chmod +x send.sh
        - ./send.sh success $WEBHOOK_URL
      deploy:
        - provider: s3
          access_key_id: $AWS_ACCESS_KEY
          secret_access_key: $AWS_ACCESS_SECRET
          bucket: s3 버킷이름
          region: ap-northeast-2
          skip_cleanup: true
          acl: private
          local_dir: deploy -- 배포시 참조할 디렉터리
          wait-until-deployed: true

        - provider: codedeploy
          access_key_id: $AWS_ACCESS_KEY
          secret_access_key: $AWS_ACCESS_SECRET
          bucket: s3 버킷이름
          key: s3에 등록된 파일 객체 키 값
          bundle_type: zip
          application: 코드 디플로이 앱 이름
          deployment_group: 코드 디플로이 그룹 이름
          region: ap-northeast-2
          wait-until-deployed: true

• before_deploy: 배포전 할 동작을 스크립트 동작을 정의

  • 배포할 파일을 s3에 등록하기 위해 zip파일에 담음.
  • 배포를 참조할 디렉토리로 생성
  • 배포할 파일을 해당 참조 디렉토리로 이동

• after_success: 배포 성공 후 동작

  • 웹 훅을 통해 Travis CI 의 작업 결과를 전송한다.
    https://github.com/DiscordHooks/travis-ci-discord-webhook

• deploy: 배포하는 동작을 정의하는 블럭

  • provider: s3: 버킷에 파일을 업로드하기 위한 설정을 정의
    access_key_id 및 secret_access_key: AWS 계정의 액세스 키 ID 및 비밀 액세스 키를 설정
    bucket: S3 버킷의 이름을 지정
    region: AWS 리전을 지정
    skip_cleanup: 빌드 후에 작업 디렉터리를 정리하지 않도록 설정
    acl: S3 객체에 대한 액세스 제어를 설정합니다 (여기서는 private으로 설정).
    local_dir: 배포에 사용할 로컬 디렉터리를 지정 (이 디렉터리의 파일들을 S3로 업로드).
    wait-until-deployed: 배포가 완료될 때까지 기다릴지 여부

  • provider: codedeploy: AWS CodeDeploy를 사용하여 배포를 수행하기 위한 설정
    access_key_id 및 secret_access_key: AWS 계정의 액세스 키 ID 및 비밀 액세스 키를 설정
    bucket: CodeDeploy에서 사용할 S3 버킷의 이름을 지정
    key: S3 버킷에 등록된 파일 객체의 키 값
    bundle_type: 배포할 애플리케이션의 번들 타입을 지정(여기서는 zip).
    application: CodeDeploy 애플리케이션의 이름을 지정
    deployment_group: CodeDeploy 배포 그룹의 이름을 지정
    region: AWS 리전
    wait-until-deployed: 배포가 완료될 때까지 기다릴지 여부를 설정

---

2) Docker 파일

2-1) Dockerfile

FROM openjdk:11
ARG JAR_FILE=build/libs/*.jar
COPY ${JAR_FILE} app.jar
ENTRYPOINT ["java","-jar", "-Dspring.profiles.active=${active}", "-Duser.timezone=Asia/Seoul", "/app.jar"]

2-2) Docker-nginx

FROM nginx
COPY nginx/conf.d/default.conf /etc/nginx/conf.d/default.conf

2-3) docker-compose.yaml

version: "3"
services:
  web:
    image: adultkim/jpa-nginx:latest
    container_name: nginx
    restart: always
    ports:
      - "80:80"

  spring:
    build: .
    image: adultkim/jpapractice:latest
    container_name: server
    expose:
      - 8081
    ports:
      - "8081:8081"
    environment:
      active: prod

---

3) appspec.yml

version: 0.0
os: linux
files:
  - source:  /
    destination: /home/ubuntu/app/docker/zip
    overwrite: yes

hooks:
  AfterInstall:
    - location: docker-hub.sh
      timeout: 300
      runas: root

https://jinmay.github.io/2020/05/13/aws/run-shell-script-aws-code-deploy/
https://docs.aws.amazon.com/ko_kr/codedeploy/latest/userguide/reference-appspec-file.html

4) Shell Script

#!/bin/bash

container_id=$(docker ps -qa)

if [ -z ${container_id} ]
then
        echo "현재 실행중인 컨테이너 X"
else
        echo "현재 실행중인 컨테이너: ${container_id}"
        echo "컨테이너 중지"
        sudo docker stop ${container_id}
        echo "컨테이너 삭제"
        sudo docker rm -f ${container_id}

        sleep 3
fi

echo "이미지 파일 Pull"
sudo docker pull adultkim/jpapractice:latest
sudo docker pull adultkim/jpa-nginx:latest

echo "컨테이너 재 시작"
docker-compose -f /home/ubuntu/app/docker/zip/docker-compose.yaml up -d

---

🎨개념 적립

배포 과정과 도커 이미지/컨테이너 의 차이에 대한 전반적인 흐름에 대한 이해가 부족했었지만 모든 과정을 하면서 알게 된 사실들을 적어 보았다..
GPT 도움을 많이 받음..ㅎㅎ

1) Travis CI

• 

해당 프로젝트에서 TravisCI 의 역할은 GitHub에 커밋메시지를 보내자마자 변경사항을 통합하고, 배포하기 위한 정해진 일련의 작업들을 진행하는 것이다. (비슷한 예로는 GitHub Action 도 존재함)

2) S3

• 

S3는 Travis CI에서 빌드된 파일과 컴포넌트를 실행하기 위한 파일, 이미지파일을 Pull하고 컴포넌트를 실행할 쉘 스크립트 등 EC2에서 필요한 파일들을 배포하기전에 저장해놓는 외부 저장소 역할을 할 것이다.

3) Code Deploy

• 

CodeDeploy는 S3에 저장된 파일들을 EC2인스턴스에 배포하는 역할을 한다.

4) 이미지(Image)

• 

• 나는 처음에 이미지라는 개념이 너무 생소하고, 어떻게 받아들여야 할지 몰랐다.

• 하지만 애플리케이션을 실행하기 위한 모든 설정이 모두 끝난 패키지라는 말을 보고, 그냥 실행하기 전 빌드 완료된 프로그램으로 쉽게 생각하면 되겠다고 느낌..
  또 배포하는 과정에서 도커파일이 SpringBoot 프로젝트에서 이미지파일을 만드는 기준은 해당 프로젝트의 .jar파일을 가지고 진행하였기 때문에 빌드가 완료되고 실행할 수 있는 읽기 전용 파일이구나 라고 느끼게 되었다.
  ex) .jar파일, Ubuntu 이미지 파일

5) 컨테이너(Container)

• 
• 컨테이너는 마침내 이미지파일을 하나의 인스턴스로 실행하게 된다고 한다.
• 컨테이너라 함은 우리가 가상머신을 이용해서 한 OS에서 여러 OS를 돌리듯이, 이미지 파일이 격리된 공간의 독립된 프로세스로서 돌아가게된다.
• 즉 도커에서 프로젝트를 이미지 파일로 빌드한 후, 컨테이너를 통해 실행하는 것!