들어가기전...

쉽지않았던 Docker&Jenkins이였습니다... 그렇지만 4번의 실패 끝에 성공해냈습니다!!!(왜 젠킨스 로고가 탈모인지 알게되는...ㅎ)
제가 겪었던 도중에 에러들과 필요했던 과정을 추가하기 위해 블로그의 글을 작성하게 되었습니다. 부족한 부분이 많은 글이 되겠지만... 조금이라도 도움이 되었으면 하는 마음에 작성해봅니다!

구성요소

• Jenkins Server : AWS EC2 Ubuntu 18.04
• Spring Boot Server : AWS EC2 Ubuntu 18.04
• Github Repository
• Docker Hub Repository

  도커파일(파일명: Dockerfile)

  • 위치는 bulid.gradle과 같은위치에 둡니다.

    # JDK11 이미지 사용
    FROM openjdk:11-jdk
    
    VOLUME /tmp
    
    # JAR_FILE 변수에 값을 저장
    ARG JAR_FILE=./build/libs/*.jar
    # 변수에 저장된 것을 컨테이너 실행시 이름을 app.jar파일로 변경하여 컨테이너에 저장
    COPY ${JAR_FILE} app.jar
    
    # 빌드된 이미지가 run될 때 실행할 명령어
    ENTRYPOINT ["java","-jar","app.jar"]

    bulid.gradle

    plugins {
        id 'org.springframework.boot' version '2.7.3'
        id 'io.spring.dependency-management' version '1.0.13.RELEASE'
        id 'java'
    }
    
    jar {
        enabled = false
    }
    
    bootJar{
        archivesBaseName = 'app'
        archiveFileName = 'app.jar'
        archiveVersion = "0.0.0"
    }
    
    group = 'com.example'
    version = '0.0.1-SNAPSHOT'
    sourceCompatibility = '11'
    
    configurations {
        compileOnly {
            extendsFrom annotationProcessor
        }
    }
    
    repositories {
        mavenCentral()
    }
    
    dependencies {
        implementation 'org.springframework.boot:spring-boot-starter-web'
        compileOnly 'org.projectlombok:lombok'
        developmentOnly 'org.springframework.boot:spring-boot-devtools'
        annotationProcessor 'org.projectlombok:lombok'
        testImplementation 'org.springframework.boot:spring-boot-starter-test'
    }
    
    tasks.named('test') {
        useJUnitPlatform()
    }

진행순서

1. Ec2 준비 및 초기 설정
2. Jenkins Server에 Docker 설치
3. Jenkins Server에 Docker를 이용하여 Jenkins 실행
4. Jenkins 접속
5. Jenkins와 Github 연동
6. Jenkins와 Docker Hub 연결
7. Jenkins Server와 Spring Boot Server SSH 연결 설정
8. Jenkins Pipeline 구성

1. ec2 준비 및 초기 설정

ec2 스펙

• 애플리케이션 및 OS 이미지 : Ubuntu
• 인스턴스 유형 : t2.micro
• 키페어 필수

EC2에 탄력적 IP 할당하기

• 인스턴스는 생성 시에 항상 새 IP를 할당한다. 다시 시작할 떄도 새 IP를 할당하기 때문에 매번 IP가 변경되지않고 고정 IP를 가져가기 위해 할당하는 것입니다.(편리를 위한 설정 입니다^^)

EC2 접속하기

• 기본방법
  ssh -i pem키위치 탄력적IP주소
  
• 추천방법

  //pem파일을 ~/.ssh/로 복사
  cp pem키의위치 ~/.ssh/
  
  // pem키의 권한을 변경
  chmod 600 ~/.ssh/pem키파일명.pem
  
  // ~/.ssh디렉토리에 config 파일을 생성합니다.
  vim ~/.ssh/config

  • config 파일 작성

    Host springBoot
            HostName [해당 탄력적 IP주소]
            User ubuntu
            IdentityFile ~/.ssh/[해당 키페어.pem]
    Host jenkins
            HostName [해당 탄련적 IP주소]
            User ubuntu
            IdentityFile ~/.ssh/[해당 키페어.pem]

    위와 같이 작성을 마치면 :wq명령어로 저장하고 종료합니다.

    생성된 config파일에 실행 권한 설정

    chmod 700 ~/.ssh/config

    이제 접속시 ssh Host 명 으로 접속하면 됩니다.

    ex:) ssh springBoot

2. Jenkins Server에 Docker 설치

jenkins server에 접속합니다.

해당 코드를 입력해 EC2 초기설정을 마무리합니다

sudo apt update
sudo apt upgrade
sudo apt install build-essential

Docker 설치

1. 기본 설정, 사전 설치

$ sudo apt update
$ sudo apt install apt-transport-https ca-certificates curl software-properties-common

2. 자동 설치 스크립트 활용

리눅스 배포판 종류를 자동으로 인식하여 Docker 패키지를 설치해주는 스크립트를 제공

$ sudo wget -qO- https://get.docker.com/ | sh

3. Docker 서비스 실행하기 및 부팅 시 자동 실행 설정

$ sudo systemctl start docker
$ sudo systemctl enable docker

4. Docker 그룹에 현재 계정 추가

$ sudo usermod -aG docker ${USER}
$ sudo systemctl restart docker

• sudo를 사용하지 않고 docker를 사용할 수 있습니다.
• docker 그룹은 root 권한과 동일하므로 꼭 필요한 계정만 포함해야합니다.
• 현재 계정에서 로그아웃한 뒤 다시 로그인

5. Docker 설치 확인

$ docker -v

Jenkins Server에 Docker를 이용하여 Jenkins 실행

1. Jenkins 이미지 파일 내려받기(lts 버전)

$ docker pull jenkins/jenkins:lts

2. 내려받아진 이미지 확인

$ docker images

3. Jenkins 이미지를 Container로 실행

$ docker run -d -p 8080:8080 -p 50000:50000 -v /jenkins:/var/jenkins -v /home/ubuntu/.ssh:/root/.ssh -v /var/run/docker.sock:/var/run/docker.sock --name jenkins -u root jenkins/jenkins:lts

4. 돌아가고 있는 Container 확인

$ docker ps

💡 EC2 프리티어 사용시 Jenkins가 죽어요 😂

현재 젠킨스 서버로 사용하는 프리티어 EC2는 젠킨스를 버틸 수 없습니다. 젠킨스를 도커로 띄우고 설정까지는 문제가 없으나 깃허브 웹훅으로 젠킨스를 이용해 spring을 빌드하는 과정에서 램을 1기가 이상(프리티어 EC2 램은 1기가) 사용하게 되면서 EC2가 먹통이 되어버립니다. 이 문제의 해결 방안으로는 리눅스의 하드디스크를 가상 메모리로 전환시켜 사용할 수 있다는 점을 이용하면 됩니다.

• 스왑 파일 생성방법 1. 스왑 파일 생성하기 ****아래 명령은 시간이 약 10~20초 정도 걸리므로 여유있게 기다리면 됩니다. sudo dd if=/dev/zero of=/swapfile bs=128M count=16

  • dd 멸령을 사용하여 루트 파일 시스템에 스왑 파일을 생성합니다.

  • 명령에서 dd는 블록 크기이고 count는 블록 수 입니다.

  • 지정한 블록 크기는 인스턴스에서 사용 가능한 메모리보다 작아야합니다. 그렇지 않으면 memory exhauted 오류가 발생합니다.

  • 프리티어의 메모리는 1GB이므로 권장사항대로 2GB를 증설시켜야 합니다.

  • 현재 위 코드대로라면 2GB(128MB * 16 = 2,048MB) 입니다

    2. 스왑 파일에 대한 읽기 쓰기 권한 업데이트하기

    sudo chmod 600 /swapfile

    3. Linux 스왑 영역 설정하기

    sudo mkswap /swapfile

    4. 스왑 공간에 스왑 파일을 추가하여 스왑 파일을 즉시 사용할 수 있도록 하기

    sudo swapon /swapfile

    5. 절차가 성공했는지 확인하기

    sudo swapon -s

    6. /etc/fstab 파일을 편집하여 부팅 시 스왑 파일을 활성화하기

    파일 열기
    sudo vi /etc/fstab
    
    파일 가장 마지막에 다음을 추가하고 :wq로 저장하고 종료
    /swapfile swap swap defaults 0 0

    7. free 명령어로 메모리 확인하기

    free

4.Jenkins 접속

1. 브라우저에서 [EC2 인스턴스 URL]:8080으로 접속

보안그룹에서 8080 - > 내IP를 추가해줘야한다.

2. 암호 입력

/var/lib/jenkins/secrets/initialAdminPassword를 확인해야 하는데 Jenkins Container에 접속하여 얻어오거나 "docker logs jenkins" 명령어를 사용하면 된다.

// Container 접속
$ docker exec -it jenkins bash

// 암호 파일 확인
$ cat /var/lib/jenkins/secrets/initialAdminPassword

3. Install suggested plugins로 플러그인 설치

4. Jenkins 계정 생성

Jenkins 메인 대시보드 페이지가 나오면 성공

5. Jenkins와 Github 연동

1. ssh 키 생성

Jenkins Container를 생성할 때 "/home/ubuntu/.ssh:/root/.ssh"로 .ssh 디텍도리를 마운트 해놓았기 때문에 Container 밖에서 ssh 키를 생성하면 Jenkins Container와 연결된다.

// 그냥 전부 enter를 입력해default로 만든다.
$ ssh-keygen

EC2에 접속하면 기본 유저가 ubuntu이기 때문에 /home/ubuntu/.ssh에 id_rsa와 id_rsa.pub이 생성된다.

2. Github Deploy Key 등록

만들어 놓은 Github Repository > Settings > Deploy Keys > Add deploy key로 접속한다.Title은 Jenkins로 지어 주고(마음대로 해도 된다), Key 부분에 id_rsa.pub에 들어있는 public key 값을 넣어준다. 아래 명령어로 확인 가능하다.

$ cd /home/ubuntu/.ssh
$ cat id_rsa.pub

3. Jenkins Credentials 등록

Jenkins 대시보드 > Jenkins 관리 > Manage Credentials > Credentials에 접속한다.Store Jenkins에 Domain이 (global)인 화살표를 눌러 Global credentials (unrestricted)로 이동한다.왼쪽 메뉴의 Add credentials를 눌러 credentials를 추가한다.

• Kind : SSH Username with private key
• ID : github -> 마음대로 지어도 된다. 다만 Pipeline Script 작성 시 credentialsId로 사용되니 식별할 수 있도록 하자.
• Username : root (default)
• Private Key : Enter directly 체크 -> private key 입력여기서 private key는 Jenkins Server에서 생성한 id_rsa이다. 아래 명령어로 확인 가능하다.

  $ cd /home/ubuntu/.ssh
  $ cat id_rsa

  -----BEGIN OPENSSHPRIVATEKEY-----
  ...
  ... 이와 같은 형태의key가privatekey 입니다 ...
  ...
  -----END OPENSSHPRIVATEKEY-----

• BEGIN ~END까지 다 넣어 줘야한다.
• OK를 눌러 키를 생성

6.Jenkins와 Docker Hub 연결

1. Docker Plugin 설치

Jenkins 대시보드 > Jenkins 관리 > 플러그인 관리 > 설치 가능 > Docker 검색 > Docker, Docker Pipeline 플러그인 설치 및 재실행

2. Docker Hub Credentials 등록

Jenkins 대시보드 > Jenkins 관리 > Manage Credentials > Credentials에 접속한다.Store Jenkins에 Domain이 (global)인 화살표를 눌러 Global credentials (unrestricted)로 이동한다.왼쪽 메뉴의 Add credentials를 눌러 credentials를 추가한다.

• Kind :Username with password
• Username : 본인의 Docker Hub ID
• Password : 본인의 Docker Hub Password
• ID : docker-hub -> 마음대로 지어도 된다. 다만 Pipeline Script 작성 시 credentialsId로 사용되니 식별할 수 있도록 하자.
• OK 를 눌러 키를 생성

3. Jenkins Container 내부에 Docker 설치

Jenkins Pipeline에서 Docker 명령어를 사용할 수 있도록 Jenkins Container 내부에 Docker를 설치해야 한다.

• Jenkins Container에 접속

$ docker exec -it jenkins bash

• Docker 설치(docker 설치는 위에서 진행한 것과 같다.)
  • 다만 Container 내부에 sudo, vi, wget이 설치되어 있지 않아 차례대로 설치 후 Docker를 설치해야 한다.

  1. sudo 설치

     $ apt-get update && apt-get install -y sudo

  2. vi 설치

     apt-get update
     apt-get install vim 

  3. wget 설치

     apt-get install wget

7. Jenkins Server와 Spring Boot Server SSH 연결 설정

Jenkins로 Gradle 빌드하고 Dockerfile로 도커 이미지를 빌드해서 Docker Hub에 Push하고 Spring Boot Server에서 도커 이미지를 Pull해서 실행하게 하기 위해 필요하다. Jenkins Pipeline Script에서 SSH를 사용하여 Spring Boot Server의 명령어 실행을 할 수 있도로 하는 것입니다.

1. SSH Agent Plugin 설치

Jenkins 대시보드 > Jenkins 관리 > 플러그인 관리 > 설치 가능 > SSH Agent 플러그인을 검색하고 설치 및 재실행

2. Spring Boot Server 접속

3. Spring Boot Server의 .ssh/authorized_keys 파일에 Jenkins Server의 public key를 추가

// Jenkins Server에서 public key 확인
$ cat /home/ubuntu/.ssh/id_rsa.pub// Spring Boot Server에 Jenkins Server public key 추가

$ vi /home/ubuntu/.ssh/authorized_keys
// authorized_keys에 한줄 띄우고 public key  등록

4. Jenkins Credentials 등록

Jenkins 대시보드 > Jenkins 관리 > Manage Credentials > Credentials에 접속한다.Store Jenkins에 Domain이 (global)인 화살표를 눌러 Global credentials (unrestricted)로 이동한다.왼쪽 메뉴의 Add credentials를 눌러 credentials를 추가한다.

• Kind : SSH Username with private key
  
• ID : ssh -> 마음대로 지어도 된다. 다만 Pipeline Script 작성 시 credentialsId로 사용되니 식별할 수 있도록 하자.
  
• Username : root (default)
  
• Private Key : Enter directly 체크 -> private key 입력여기서 private key는 Jenkins Server에서 생성한 id_rsa이다. 아래 명령어로 확인 가능하다.

  $ cd /home/ubuntu/.ssh
  $ cat id_rsa

  -----BEGIN OPENSSHPRIVATEKEY-----
  ...
  ... 이와 같은 형태의key가privatekey 입니다 ...
  ...
  -----END OPENSSHPRIVATEKEY-----

• OK를 눌러 키를 생성사실상 위의 Jenkins와 Github 연동 시 생성한 Jenkins Credentials과 동일하다. 하지만 ID를 구분하여 사용하고자 SSH Credentials을 별도로 생성하였다.

8. Jenkins Pipeline 구성

1️⃣ Jenkins, Github Webhook 연동

Github Repository에 push event가 발생했을 때 자동으로 Build가 실행되게 하기 위해 Pipeline과 Github Webhook을 연동해야 한다.

1. Github Integration Plugin 설치

Jenkins 대시보드 > Jenkins 관리 > 플러그인 관리 > 설치 가능 > Github Integration 플러그인을 검색하고 설치 및 재실행

2. Jenkins Pipeline 설정

• Github project 설정 Pipeline 구성 화면 > General 영역에서 Github project를 선택한다. > Project url에 본인의 Github Repository Url을 입력한다. 이 때 Repository Url은 Clone 시 사용하는 HTTPS Url(.git으로 끝남)을 입력한다.
• Build Triggers 설정Pipeline 구성 화면 > Build Triggers 영역에서 GitHub hook trigger for GITScm polling을 선택한다.

3. Github Webhook 추가

Github Repository에서 Settings > Webhooks > Add Webhook 을 눌러 Webhook을 추가한다.

• Payload URL[Jenkins Server URL]:[Jenkins Server 포트]/github-webhook/
• Content typeapplication/x-www-form-urlencoded
• 나머지는 모두 default 설정 유지Add webhook 버튼을 눌러 Webhook을 추가 -> 목록에서 녹색 체크 아이콘이 생성되면 성공

2️⃣ Pipeline Script 작성

pipeline {
    agent any

    environment {
        imagename = "docker build로 만들 이미지 이름"
        registryCredential = 'Docker Hub Credential ID'
        dockerImage = ''
    }

    stages {
stage('Prepare') {
          steps {
            echo 'Clonning Repository'
            git url: 'Github Repository SSH Url(git@github.com로 시작)',
              branch: 'Clone 받아올 Branch 이름',
              credentialsId: 'Github Credential ID -> github'
            }
            post {
             success {
               echo 'Successfully Cloned Repository'
             }
           	 failure {
               error 'This pipeline stops here...'
             }
          }
        }

stage('Bulid Gradle') {
          steps {
            echo 'Bulid Gradle'
dir('.'){
								sh 'chmod +x ./gradlew'
                sh './gradlew clean build'
            }
          }
          post {
            failure {
              error 'This pipeline stops here...'
            }
          }
        }

stage('Bulid Docker') {
          steps {
            echo 'Bulid Docker'
            script {
                dockerImage = docker.build imagename
            }
          }
          post {
            failure {
              error 'This pipeline stops here...'
            }
          }
        }

stage('Push Docker') {
          steps {
            echo 'Push Docker'
            script {
                docker.withRegistry( '', registryCredential) {
                    dockerImage.push()
                }
            }
          }
          post {
            failure {
              error 'This pipeline stops here...'
            }
          }
        }

stage('Docker Run') {
            steps {
                echo 'Pull Docker Image & Docker Image Run'
                sshagent (credentials: ['SSH Credential ID -> ssh']) {
                    sh "ssh -o StrictHostKeyChecking=no [Spring Boot Server username]@[Spring Boot Server IP 주소] 'docker pull [도커이미지 이름]'"
                    sh "ssh -o StrictHostKeyChecking=no [Spring Boot Server username]@[Spring Boot Server IP 주소] 'docker ps -q --filter name=[컨테이너 이름] | grep -q . && docker rm -f \$(docker ps -aq --filter name=[컨테이너 이름])'"
                    sh "ssh -o StrictHostKeyChecking=no [Spring Boot Server username]@[Spring Boot Server IP 주소] 'docker run -d --name [컨테이너 이름] -p 8080:8080 [도커이미지 이름]'"
                }
            }
        }
    }
    
}

Stage 로 끊어서 prepare 와 gradle 만 설명하겠다.

Prepare

• git url : github에서 url을 복사해서 붙여 넣어준다.
• branch : clone 받아올 branch 이름 ex) main
• credentialsId : Github Credential ID

stage('Prepare') {
          steps {
            echo 'Clonning Repository'
            git url: 'Github Repository SSH Url(git@github.com로 시작)',
              branch: 'Clone 받아올 Branch 이름',
              credentialsId: 'Github Credential ID -> github'
            }
            post {
             success {
               echo 'Successfully Cloned Repository'
             }
           	 failure {
               error 'This pipeline stops here...'
             }
          }
        }

Bulid Gradle

sh 'chmod +x ./gradlew' : gradlew 실행권한 적용

sh './gradlew clean build' : grdlew clean후 bulid

stage('Bulid Gradle') {
          steps {
            echo 'Bulid Gradle'
dir('.'){
								sh 'chmod +x ./gradlew'
                sh './gradlew clean build'
            }
          }
          post {
            failure {
              error 'This pipeline stops here...'
            }
          }
        }

테스트

• 스프링 서버에 접속해서 돌아가는 컨테이너를 확인해보자

$ docker ps

---

도움을 주신 블로그들 👍

https://hyeinisfree.tistory.com/23

https://backtony.github.io/spring/aws/2021-08-08-spring-cicd-1/#도커-세팅

https://yongho1037.tistory.com/720