🚗 flask-migrate docker로 자동화하기

What is data migration?

migration이란, DB 엔티티 코드의 변화를 자동으로 감지하고 실제 DB에 반영해 주는 것이다.

참고: Python Flask Docker Migrations

현재: 기존 있던 테이블에서 컬럼 변경한 게 반영되지 않음.

현재는 docker를 재실행하거나 빌드를 다시 해도 컬럼 변경한 게 반영되지 않음

[이유 후보]

1. 코드 수정하는 게 실시간 반영이 안 됨 ⇒ 반영 잘 됨

2. flask 실행하는 명령어가 app에서 create_app을 안 거치고 그냥 존재했던 app을 그대로 불러온다?

   ⇒ app.logger.info 찍어보니까 제일 먼저 실행함.

3. else: db.init_app()이라는 게 그냥 DB에 해당하는 테이블이 존재하는 지만 보고
   DB에 있으면: 딱히 바꾸지 않는 거임
   DB에 없으면: 새로 테이블 만들어줌

   ⇒ 정답!

   DB에 있으면 아예 안 바꾸고, DB에 없으면 새로 테이블을 아예 만들어줌.

   즉, 컬럼 변경을 전혀 감지하지 못함.

   만약 코드 상에 엔티티가 있다가 없어졌어도 딱히 삭제하지 않음.
   

해결: flask-migrate로 문제를 해결하고, 더 나아가 도커로 자동화하자.

일단 flask-migrate 부터 적용해 보자

[init.py]

from flask import Flask
from flask_migrate import Migrate
from .models import db
from . import config

def create_app():
    flask_app = Flask(__name__)
    flask_app.logger.info('CREATE APP __INIT__')
    flask_app.config['SQLALCHEMY_DATABASE_URI'] = config.DATABASE_CONNECTION_URI
    flask_app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = False
    flask_app.app_context().push()
    db.init_app(flask_app)
    migrate = Migrate(flask_app, db)
			# flask-migrate 적용
    db.create_all()
    return flask_app

이후, 현재 컨테이너를 실행시켜두고

• [docker-compose.yml]

  version: "3.8"
  
  services:
      web:
          build:
              context: .
          env_file:
              - .env
          ports:
              - 5000:5000
          environment:
              - FLASK_APP=./src/app.py
          volumes:
              - ./:/app
      postgres:
          container_name: postgres
          image: postgres:latest
          ports:
              - 5432:5432
          environment:
              - POSTGRES_DB=${PG_DB}
              - POSTGRES_USER=${PG_USER}
              - POSTGRES_PASSWORD=${PG_PASSWORD}
          volumes:
              - postgres:/var/lib/postgres
      pgadmin:
          container_name: pgadmin
          image: dpage/pgadmin4
          ports:
              - 8088:80
          environment:
              - PGADMIN_DEFAULT_EMAIL=${PG_ADMIN_EMAIL}
              - PGADMIN_DEFAULT_PASSWORD=${PGADMIN_DEFAULT_PASSWORD}
  
  volumes:
      postgres:

터미널에 다음과 같이 명령어들을 작성해 준다.

docker exec [컨테이너_아이디] flask db init
# migration을 해당 앱에 적용하겠다고 선언, 이 결과로 migrations 폴더가 생성됨.
docker exec [컨테이너_아이디] flask db migrate
# 코드상의 DB 엔티티의 변화를 자동적으로 감지. 이 결과로 versions/2cd568bbbbe1_.py 같은 게 생성됨.
docker exec [컨테이너_아이디] flask db upgrade
# migrate 명령어로 감지한 엔티티 변화를 실제 DB에 반영

이제 도커로 자동화를 해 보자.

아래는 라이프사이클을 적어 본 것이다.

DB 엔티티에 관한 코드 변경
→ 도커 컨테이너 재실행하며 동시에 마이그레이션 수행
→ 실제 DB에 반영
→ 서버 실행

이때 DockerFile에 CMD 명령어에 .sh 파일 실행을 추가한다.

기존 DockerFile

# syntax=docker/dockerfile:1

FROM python:3.8-slim-buster

WORKDIR /app

COPY requirements.txt requirements.txt
RUN pip3 install -r requirements.txt

COPY . .

CMD ["python3", "-m", "flask", "run", "--host=0.0.0.0"]

수정한 DockerFile

# syntax=docker/dockerfile:1

FROM python:3.8-slim-buster

WORKDIR /app

COPY requirements.txt requirements.txt
RUN pip3 install -r requirements.txt

COPY . .

CMD [ "/bin/bash", "/app/docker-entrypoint.sh"]
# CMD ["python3", "-m", "flask", "run", "--host=0.0.0.0"]

• docker-entrypoint.sh

  #!/bin/sh
  
  flask db init
  flask db migrate
  flask db upgrade
  python3 -m flask run --host=0.0.0.0

그러면 이와 같이 터미널이 아주 잘 나온다.

기존에 적었던 엔티티를 변경하고 도커 컨테이너를 재실행해도 잘 된다.

flask db init이 이미 한번 불렸기 때문에 에러 메시지(Error: Directory migrations already exists and is not empty)를 송출하지만, 이걸로 인해 저 sh 파일을 실행하다가 중단하지 않으니 일단 저렇게 두고 쓰자.

참고

프로젝트 구조

프로젝트 구조다. 아직 토이 프로젝트 단계라서 정리가 잘 안된 상태라는 점.. 참고 바란다..

├── Dockerfile
├── README.md
├── docker-compose.dev.yml
├── docker-entrypoint.sh
├── migrations
│   ├── README
│   ├── alembic.ini
│   ├── env.py
│   ├── script.py.mako
│   └── versions
│       ├── 2cd568bbbbe1_.py
│       ├── a9bfee46c75b_.py
│       └── ae72eeaaa4f3_.py
├── requirements.txt
└── src
    ├── __init__.py
    ├── app.py
    ├── config.py
    ├── database.py
    └── models.py

7 directories, 28 files

gitignore?

migrations 폴더 넣어도 되는 것으로 보인다.

한계

아무래도 docker-entrypoint.sh로 아예 도커 실행때 flask migrate와 python3 flask run 명령어를 같이 썼고, 같은 컨테이너에서 실행하다 보니 매번 엔티티 속성을 변경했을 때 서비스 컨테이너를 껐다가 켜야 해서 불편하다.

주로 현직에서는 flask migrate를 다른 별개의 컨테이너로 분리해서 사용하나? 그렇게 해서 얻는 점이 무엇일까?

...일단 이만 하고.. 내일 기말인 계절을 조금이라도 공부해야겠다...