📒 Docker - Git-sync

📌 Git-sync

링크

git-sync:
    image: databurst/git-sync:latest
    volumes:
      - ${AIRFLOW_PROJ_DIR:-.}:${DESTINATION_PATH:-/app/sync}
      - ${GIT_SSH_KEY:-~/.ssh/id_rsa}:/root/.ssh/id_rsa
    environment:
      REPO_URL: ${REPO_URL:-git@github.com/lv1turtle/tourist_visitation_patterns_by_weather.git}
      GIT_BRANCH: ${GIT_BRANCH:-main}
      DIRECTORY_NAME: ${DIRECTORY_NAME:-project}
      DESTINATION_PATH: ${DESTINATION_PATH:-/app/sync}
      INTERVAL: ${INTERVAL:-30}

---

ssh 공개 키 생성(인스턴스)

ssh-keygen -t rsa -b 4096 -C "your_email@example.com"

RSA 알고리즘을 사용하여 4096비트 길이의 키를 생성 하겠다는 의미이다.
참고로 email은 그냥 ssh키의 주석느낌이다.(유의미한 구문을 넣을 필요 없다는 뜻임)
나는 명령어 입력후 모두 기본값으로 하기위해 Enter키만 눌렀다.
이후 키의 권한 설정이 필요하다.

chmod 400 ~/.ssh/id_rsa

---

위 방법이 성공했다면 그건 그거대로 알 수 없게된 상태이다..
확인해본 결과 AWS에서 제공하는 Keypair에는 2가지가 존재한다.

• RSA & ED25519

RSA를 무한히 도전해보았지만 번번히 실패했다.
구글링 해본 결과 Window에서 Putty를 사용한 EC2의 경우는 ED25519를 사용해야 한다는 것을 알게 되었다..

Linux와 MAC은 잘 모르겠다.
하지만 내가 Window를 사용하며 Putty로 EC2에 접속하였다면 ED25519를 사용하자.

• 추가
  여기서 말하는 키페어는 ssh를 말하는 것이며 EC2환경에 들어가서 생성하는 것을 의미한다
  ppk나 pem을 생성할 때는 rsa로 생성하였다.

---

📌 Auto Git Pull

사전 준비

• 만약 Git-sync가 불가능해진다면 Git Action을 사용해서 가능해진다.
• 시작하기에 앞서 먼저 ED25519로 EC2에서 ssh키를 생성하자.

ssh-keygen -t ed25519 -C "your_email@example.com"

• 키 권한 설정

chmod 600 id_ed25519

• 아래 명령어를 사용할때 아무 명령어도 나오지 않아야 정상이다.(키 추가 명령어임)

ssh-add ~/.ssh/id_ed25519

• Github와 EC2를 연결해주어야 한다.

git config --global user.email "you@example.com"
git config --global user.name "Your Name"

• SSH 연결 테스트 명령어

ssh -T git@github.com

• Github Repository에 3가지의 Secrets 키를 작성해주어야 한다.
  
  • EC2_HOST
  • EC2_PRIVATE_KEY : Pub 키는 EC2에서, Private 키는 깃헙에서 사용한다.
  • EC2_USER

Code

• 이제 코드를 작성해보자.

• Git-Action의 기본적인 부분이다.

name: Git-sync # 이름
on:
  push: # push할때
    branches: 
      - main # main 브랜치에
jobs: # git-action의 job을 작성
  pull_changes: # 이름
    runs-on: ubuntu-latest # ubuntu 환경 설정
    steps: # job의 task를 순차적으로 작성
      - name: Checkout repository # actions/checkout@v2를 사용해서 repository에 접근
        uses: actions/checkout@v2
        
      - name: Create .ssh directory
        run: mkdir -p ~/.ssh # ~/.ssh 디렉토리 생성 (Key를 저장해야합니다.)

• Git-Action상에 미리 해야하는 작업을 끝냈다. 이제 본문 코드를 보자.
  • ssh-keyscan : 원격 호스트의 SSH 공개키 검색
  • -H : 해시된 형식으로 호스트 이름을 저장하겠다는 옵션이다.
  • ${{ secrets.EC2_HOST }} : GitHub Actions의 시크릿에서 EC2 호스트의 주소를 가져온다.
  • ~/.ssh/known_hosts : known_hosts 파일에 내용 추가
• 여기서 혹시나 모를까봐 작성한다.
  • ">" : 일명 단일 꺾쇠 괄호, 해당 위치에 새로 생성 또는 덮어쓰기
  • ">>" : 일명 이중 꺾쇠 괄호, 해당 위치에 새로 생성 또는 추가

      - name: Add EC2 host key to known_hosts
        run: |
          ssh-keyscan -H ${{ secrets.EC2_HOST }} >> ~/.ssh/known_hosts
          chmod 600 ~/.ssh/known_hosts

• env: 를 사용해서 환경설정을 해준다.

• EC2_PRIVATE_KEY를 가져와서 생성해준다.

• chmod 600 id_ed25519로 권한설정을 해준다.

      - name: Pull Change from EC2
        env:
          EC2_HOST: ${{ secrets.EC2_HOST }}
          EC2_USER: ${{ secrets.EC2_USER }}
          EC2_PRIVATE_KEY: ${{ secrets.EC2_PRIVATE_KEY }}
        run: |
          echo "${EC2_PRIVATE_KEY}" > id_ed25519
          chmod 600 id_ed25519
          # SSH를 통해 EC2 서버로 접속하여 작업 디렉토리로 이동하고 변경 사항을 가져온다.
          ssh -o StrictHostKeyChecking=no -i id_ed25519 ${EC2_USER}@${EC2_HOST} 'cd /home/ubuntu/tourist_visitation_patterns_by_weather && git fetch origin main' || exit 1

• 지금부터는 원래 사용하던 git 명령어들이다.

          # 로컬 브랜치에 최신 변경 사항을 병합
          git merge FETCH_HEAD --no-commit --no-ff

• 바보처럼 가져와서는 안되는 & 권한이 없는 파일에 대해서 접근했다면 아래 명령어들을 사용해서 제외해주자...

          # 권한이 없는 3개에 대해서는 제외
          git reset HEAD -- .github/workflows/airflow_dag_test.yml
          git reset HEAD -- .github/workflows/conde.yml
          git reset HEAD -- dbt

• 마지막으로 변경 사항을 스테이징하고 커밋해준다.

          git config --global user.email "you@example.com"
          git config --global user.name "Your Name"
          git add .
          git commit -m "Pull changes from EC2, excluding specific files and directories"
          
          # main branch로 push
          git push origin main
          
        shell: bash

---

끝으로 몇마디 더 작성하겠다.

확실하지는 않지만 정황상 Git-sync와 Git-Action을 통한 Auto Pull 기능은 자신이 주인인 Repository에서만 가능한것 같다.

또는 권한을 부여받았을 경우.

팀원이 주인인 Repository에서는 동작하지 않지만 본인의 Repository에서는 동작하는 것으로 미루어 보았을 때 이러한 결론이 내려졌다.