1. postgresql 컨테이너 생성하기
- postgresql이란?
💡 오픈 소스 데이터베이스로, Oracle DB, MySQL 등 상용 라이센스를 가지고 있는 데이터베이스와는 다르게 무료로 사용 가능하다.
Oracle DB, Mysql, Microsoft SQL에 이어 네번째로 사용량이 많은 데이터베이스이다.
또한 장고에서는 기본 데이터베이스로 postgresql을 사용하는 것을 권장하고 있다.
- 원하는 docker 이미지를 찾는 방법
💡 docker에서 사용 가능한 이미지들은 https://hub.docker.com 에서 제공
사이트 접속 후 원하는 이미지를 검색하면 해당 이미지의 정보를 확인할 수 있다.
- docker-compose.yml
version: '3.8'
volumes:
postgres: {} # postgresql에서 사용 할 볼륨 지정
services:
postgres:
container_name: postgres
image: postgres:14.5
volumes:
- postgres:/var/lib/postgresql/data/
environment: # postgresql 컨테이너에서 사용할 환경변수 지정해주기
- POSTGRES_USER=user # 데이터베이스 사용자 지정
- POSTGRES_PASSWORD=P@ssw0rd # 사용자 비밀번호 지정
- POSTGRES_DB=django # 데이터베이스 이름 지정
restart: always- 컨테이너가 잘 생성됐는지 확인해보기
sudo docker compose up -d : 컨테이너 실행
sudo docker compose logs : 컨테이너 로그 찍어보기
2. gunicorn을 사용해 django 프로젝트 컨테이너 생성하기
- gunicorn이란?
💡 django 프로젝트를 실행할 때 사용되는 runserver와 같이, 사용자의 요청을 받아 django에 작성한 코드를 실행시켜 주도록 하는 역할
=> 배포용으로 사용되는 runserver라고 생각하자!
- runserver가 아닌 gunicorn을 사용해 배포하는 이유
💡 기본적으로 runserver는 배포용이 아닌 개발용으로 사용되는 명령어이며, 공식 문서에서도 runserver로 배포하는 것을 권장하지 않고 있다.
또한 runserver는 기본적으로 싱글 스레드에서 동작하지만, gunicorn은 멀티 스레드로 동작하도록 설정할 수 있기 때문에 많은 요청을 더 효율적으로 처리할 수 있다.
이외에도 runserver에 비해 속도, 안정성 등 다양한 장점을 가지고 있기 때문에 배포 환경에서는 gunicorn을 사용하는 것을 권장하고 있습니다.
- 소스코드 다운받기
git clone https://github.com/sparta-course/drf-project.git ./django
- django 프로젝트를 배포하기 전 설정할 것
- settings.py
ALLOWED_HOSTS = ['*'] # 빈 리스트는 아무 호스트도 허용하지 않겠다는 뜻, *은 모든 호스트를 대상으로 허용하겠다.
STATIC_ROOT = BASE_DIR / "static"- timezone 설정하기
💡 Linux를 처음 설치하면 대부분 표준 시간대가 협정 세계시(UTC)로 설정되어 있다.
timezone을 한국 시간대(KST)로 변경해주자!!
리눅스에서 date 명령어를 사용하면 현재 적용된 timezone 정보를 확인할 수 있다.
timezone을 변경해주기 위해, 기존 timezone 설정을 Asia/Seoul로 덮어씌워야 한다.
sudo ln -sf /usr/share/zoneinfo/Asia/Seoul /etc/localtime
설정 후 다시 date 명령어를 확인해보면 KST로 바뀐 것을 확인할 수 있다.
- backend/Dockerfile
# python 3.10.8버전 이미지를 사용해 빌드
FROM python:3.10.8
# .pyc 파일을 생성하지 않도록 설정
ENV PYTHONDONTWRITEBYTECODE 1
# 파이썬 로그가 버퍼링 없이 즉각적으로 출력하도록 설정
ENV PYTHONUNBUFFERED 1
# /app/ 디렉토리를 생성
RUN mkdir /app/
# /app/ 경로를 작업 디렉토리로 설정
WORKDIR /app/
# requirments.txt를 작업 디렉토리(/app/) 경로로 복사
COPY ./django/requirements.txt .
# 프로젝트 실행에 필요한 패키지들을 설치
RUN pip install --no-cache-dir -r requirements.txt
# gunicorn을 사용하기 위한 패키지를 설치
RUN pip install gunicorn- docker-compose.yml
version: '3.8'
services:
backend:
container_name: backend
build: ./backend/
# drf_project.wsgi는 프로젝트 경로에 맞게 지정해야 함
entrypoint: sh -c "python manage.py collectstatic --no-input && python manage.py migrate && gunicorn drf_project.wsgi --workers=5 -b 0.0.0.0:8000"
ports:
- 80:8000
volumes:
- ./backend/django/:/app/
- /etc/localtime:/etc/localtime:ro # host의 timezone 설정을 컨테이너에 적용
# ro 은 읽기 전용(read only) 속성으로 볼륨을 설정하는 것을 의미
restart: always- entrypoint 명령어 파헤쳐보기
💡 위에서 docker-compose.yml데 작성했던 entrypoint에서 사용한 명령어들을 살펴보자!
sh -c "python manage.py collectstatic --no-input && python manage.py migrate && gunicorn project_name.wsgi --workers=5 -b 0.0.0.0:8000"
sh -c : 컨테이너에서 뒤에 작성한 명령어를 실행시킬 수 있도록 해준다.
&& : 특정 명령어를 실행한 이후 다음 명령어를 실행시켜 준다.
python manage.py collectstatic --no-input : 배포를 위해 static 파일을 모아준다. 해당 명령어를 실행시키기 위해서는 settings.py에 STATIC_ROOT가 정의되어 있어야 한다.
python manage.py migrate : django에 연결된 db를 migrate 해준다.
gunicorn project_name.wsgi --workers=5 -b 0.0.0.0:8000 : gunicorn을 사용해 django 프로젝트를 실행시킨다.
project_name: django 프로젝트 이름을 입력한다. 이름을 다르게 입력할 경우 에러가 발생한다.--workers=5: django를 실행시킬 process 갯수를 입력한다. 일반적으로 cpu 코어 갯수 2 + 1만큼 지정해준다.(ex - 2코어라면 22+1=5)-b 0.0.0.0:8000: 8000번 포트로 실행시킨다.
- 컨테이너가 잘 동작하는지 확인해보기
sudo docker compose up --build -d
sudo docker compose logs
웹브라우저에서 접속해보기
3. nginx를 사용해 웹서버 컨테이너 생성하기
- nginx란?
💡 nginx는 클라이언트의 request 요청을 처리해주는 웹 서버(web server)이다.
reverse proxy, 로드밸런싱, 캐싱 등의 기능을 지원하며, 클라이언트의 요청을 nginx가 받은 후 service(django) 데이터를 넘겨주는 역할을 해준다.
- nginx를 사용하는 이유
- 로드밸런싱을 활용해 트래픽을 분산할 수 있다.
- SSL 기능을 사용해 데이터를 안전하게 전달할 수 있다.
- reverse proxy 기능을 통해 client에서 서버에 직접적으로 접근하는 것을 막아준다.
- 콘텐츠를 캐싱하여 동일한 요청에 대해 더 빠른 속도로 처리할 수 있게 해준다.
- docker-compose.yml
version: '3.8'
services:
nginx:
container_name : nginx
image: nginx:1.23.2
ports:
- "80:80" # http 포트포워딩
- "443:443" # https 포트포워딩
restart: always- 컨테이너가 잘 동작하는지 확인해보기
sudo docker compose up -d
sudo docker compose logs
웹브라우저에서 접속해보기
4. nginx / postgresql / django 연동하기
- nginx 설정파일 만들기
💡 nginx 디렉토리 내 default.conf에 아래 내용으로 파일을 생성
server {
listen 80;
server_name _; # 모든 도메인 혹은 ip로 들어오는 요청에 대해 처리해 줍니다.
location / { # nginx로 요청이 들어왔을 때
proxy_pass http://backend:8000/; # backend 컨테이의 8000번 포트로 전달합니다.
}
location /static/ { # 브라우저에서 /static/ 경로로 요청이 들어왔을 때
alias /static/; # /static/ 경로에 있는 파일들을 보여줍니다.
}
location /media/ { # 브라우저에서 /media/ 경로로 요청이 들어왔을 때
alias /media/; # /media/ 경로에 있는 파일들을 보여줍니다.
}
}- backend/Dockerfile
# python 3.10.8버전 이미지를 사용해 빌드
FROM python:3.10.8
# .pyc 파일을 생성하지 않도록 설정합니다.
ENV PYTHONDONTWRITEBYTECODE 1
# 파이썬 로그가 버퍼링 없이 즉각적으로 출력하도록 설정합니다.
ENV PYTHONUNBUFFERED 1
# /app/ 디렉토리를 생성합니다.
RUN mkdir /app/
# /app/ 경로를 작업 디렉토리로 설정합니다.
WORKDIR /app/
# requirments.txt를 작업 디렉토리(/app/) 경로로 복사합니다.
COPY ./django/requirements.txt .
# 프로젝트 실행에 필요한 패키지들을 설치합니다.
RUN pip install --no-cache-dir -r requirements.txt
# gunicorn과 postgresql을 사용하기 위한 패키지를 설치합니다.
RUN pip install gunicorn psycopg2- django settings.py 설정해주기
import os
# 환경변수에 따라 DEBUG모드 여부를 결정합니다.
DEBUG = os.environ.get('DEBUG', '0') == '1'
# 접속을 허용할 host를 설정합니다.
ALLOWED_HOSTS = ['backend', ]
# postgres 환경변수가 존재 할 경우에 postgres db에 연결을 시도합니다.
POSTGRES_DB = os.environ.get('POSTGRES_DB', '')
if POSTGRES_DB:
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.postgresql',
'NAME': POSTGRES_DB,
'USER': os.environ.get('POSTGRES_USER', ''),
'PASSWORD': os.environ.get('POSTGRES_PASSWORD', ''),
'HOST': os.environ.get('POSTGRES_HOST', ''),
'PORT': os.environ.get('POSTGRES_PORT', ''),
}
}
# 환경변수가 존재하지 않을 경우 sqlite3을 사용합니다.
else:
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.sqlite3',
'NAME': BASE_DIR / 'db.sqlite3',
}
}
# CORS 허용 목록에 ec2 ip를 추가합니다.
CORS_ORIGIN_WHITELIST = ['http://$ec2_public_ip']
# ex) CORS_ORIGIN_WHITELIST = ['http://43.201.72.190']
# CSRF 허용 목록을 CORS와 동일하게 설정합니다.
CSRF_TRUSTED_ORIGINS = CORS_ORIGIN_WHITELIST
- 디렉토리 구조
path : /home/ubuntu/
├── backend
│ ├── Dockerfile
│ └── django # project directory
├── docker-compose.yml
└── nginx
└── default.conf- docker-compose.yml
version: '3.8'
volumes:
postgres: {}
django_media: {}
django_static: {}
services:
postgres:
container_name: postgres
image: postgres:14.5
volumes:
- postgres:/var/lib/postgresql/data/
environment:
**** - POSTGRES_USER=user
- POSTGRES_PASSWORD=P@ssw0rd
- POSTGRES_DB=django
restart: always
backend:
container_name: backend
build: ./backend/
entrypoint: sh -c "python manage.py collectstatic --no-input && python manage.py migrate && gunicorn drf_project.wsgi --workers=5 -b 0.0.0.0:8000"
volumes:
- ./backend/django/:/app/
- /etc/localtime:/etc/localtime:ro
- django_media:/app/media/ # nginx에서 media를 사용할 수 있도록 volume을 지정해줍니다.
- django_static:/app/static/ # nginx에서 static을 사용할 수 있도록 volume을 지정해줍니다.
environment: # django에서 사용할 설정들을 지정해줍니다.
- DEBUG=1
- POSTGRES_DB=django
- POSTGRES_USER=user
- POSTGRES_PASSWORD=P@ssw0rd
- POSTGRES_HOST=postgres
- POSTGRES_PORT=5432
depends_on:
- postgres
restart: always
nginx:
container_name : nginx
image: nginx:1.23.2
ports:
- "80:80"
- "443:443"
volumes:
- ./nginx/default.conf:/etc/nginx/conf.d/default.conf
- django_media:/media/ # django의 media를 사용할 수 있도록 volume을 지정해줍니다.
- django_static:/static/ # django의 static 사용할 수 있도록 volume을 지정해줍니다.
depends_on:
- backend
restart: alwayssudo docker compose up -d --build 하여 실행
sudo docker compose logs -f 하여 로그 확인
이미지는 기존에 다운로드 받은 이미지가 있기 때문에 다운받지 않아도 되고, 이전 명령어들이 cashed가 되어있는데 이건 Dockerfile에서 명령어를 작성하고 build할 때 속도의 최적화를 위해 기존에 한번 실행한 명령어는 캐싱을 해두어 빠른 속도로 실행할 수 있다.
- 배포 환경의 통신 구조
1. 먼저 사용자가 EC2의 nginx에 request 요청
-
nginx에서 사용자의 요청을 받아 .conf 파일에서 설정한 서버로 요청을 전달
-
이후 gunicorn에서는 django로, django에서는 필요에 따라 데이터베이스에 쿼리를 날려 개발자가 작성한 코드를 실행
5. env를 사용해 중요한 정보들 관리하기
- .env 작성하기
DEBUG=1
POSTGRES_DB=django
POSTGRES_USER=user
POSTGRES_PASSWORD=P@ssw0rd
POSTGRES_HOST=postgres
POSTGRES_PORT=5432- docker-compose.yml
version: '3.8'
volumes:
postgres: {}
django_media: {}
django_static: {}
services:
postgres:
container_name: postgres
image: postgres:14.5
# 만약 .env 파일을 다른 이름으로 사용할 경우 env_file 옵션을 사용해 불러올 수 있습니다.
# env_file:
# - prod.env
volumes:
- postgres:/var/lib/postgresql/data/
environment:
- POSTGRES_USER
- POSTGRES_PASSWORD
- POSTGRES_DB
restart: always
backend:
container_name: backend
build: ./backend/
entrypoint: sh -c "python manage.py collectstatic --no-input && python manage.py migrate && gunicorn drf_project.wsgi --workers=5 -b 0.0.0.0:8000"
volumes:
- ./backend/django/:/app/
- /etc/localtime:/etc/localtime:ro
- django_media:/app/media/
- django_static:/app/static/
environment: #
- DEBUG
- POSTGRES_DB
- POSTGRES_USER
- POSTGRES_PASSWORD
- POSTGRES_HOST
- POSTGRES_PORT
depends_on:
- postgres
restart: always
nginx:
container_name : nginx
image: nginx:1.23.2
ports:
- "80:80"
- "443:443"
volumes:
- ./nginx/default.conf:/etc/nginx/conf.d/default.conf
- django_media:/media/ # django의 media를 사용할 수 있도록 volume을 지정해줍니다.
- django_static:/static/ # django의 static 사용할 수 있도록 volume을 지정해줍니다.
depends_on:
- backend
restart: alwaysenvironment 부분에서 =뒤에 부분을 모두 지워주면 된다!!
만약 .env 파일을 다른 이름으로 사용할 경우 env_file 옵션을 사용하여 불러올 수 있다!
env_file:
- prod.env6. 더 작은 이미지로 배포하기
- slim 이미지의 종류와 특징
아래 예제는 python 이미지 기준이며, 이미지마다 지원하는 버전은 차이가 있다.
동일한 docker 이미지라 하더라도 태그에 따라 이미지의 용량이 달라지는데, 가령 python 이미지의 경우 가장 큰 이미지와 가장 작은 이미지의 용량이 300mb 이상 차이가 난다.
<기본 python 이미지>
<가장 작은 용량의 python alpine 이미지>
다만, 용량이 작은 이미지를 사용할 때는 외부 패키지를 설치할 때 필요한 의존성 파일들이 존재하지 않아 에러가 발생할 수 있다.
내가 사용하려는 프로젝트에 맞는 이미지를 사용하는것이 중요!
내가 사용하는 이미지에 어떤 종류의 태그가 존재하는지 확인이 필요할 때는 docker hub 이미지 페이지의 tags에서 확인 가능하다.
- 이미지의 태그별 특징
buster, jessie, stretch- debian에서 만든 linux를 기반으로 만들어진 이미지
- buster, jessie, stretch는 os의 codename이다. (링크)
- python:3.8과 python:3.8-buster는 동일하다. (약 300~350mb)
slim- 실행에 필요한 환경만 만들어둔 이미지
- 이미지가 기본이미지에 비해서는 작다. (약 40~50mb)
- 보통 python 실행환경에서 가장 많이 쓰이는 이미지
alpine- 용량이 작고, 보안에 집중한 alpine-linux 기반으로 만들어진 이미지
- 보통 이미지들 중에서 가장 작다는 특징을 가지고 있다. (약 15~20mb)
- python기준으로 봤을 때, pip install을 할 때 불리한 점이 있다.
- backend/Dockerfile
# python 3.10.8-slim버전 이미지를 사용해 빌드
FROM python:3.10.8-slim
ENV PYTHONDONTWRITEBYTECODE 1
ENV PYTHONUNBUFFERED 1
RUN mkdir /app/
WORKDIR /app/
# slim 이미지에서 postgresql 패키지를 설치하기 위해 필요 명령어 추가
RUN apt update && apt install libpq-dev gcc -y
COPY ./django/requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
RUN pip install gunicorn psycopg2- docker-compose.yml
version: '3.8'
volumes:
postgres: {}
django_media: {}
django_static: {}
services:
postgres:
container_name: postgres
image: postgres:14.5-alpine # alpine 이미지를 지정해줍니다.
volumes:
- postgres:/var/lib/postgresql/data/
environment:
- POSTGRES_USER
- POSTGRES_PASSWORD
- POSTGRES_DB
restart: always
backend:
container_name: backend
build: ./backend/
entrypoint: sh -c "python manage.py collectstatic --no-input && python manage.py migrate && gunicorn drf_project.wsgi --workers=5 -b 0.0.0.0:8000"
volumes:
- ./backend/django/:/app/
- /etc/localtime:/etc/localtime:ro
- django_media:/app/media/
- django_static:/app/static/
environment:
- DEBUG=1
- POSTGRES_DB
- POSTGRES_USER
- POSTGRES_PASSWORD
- POSTGRES_HOST
- POSTGRES_PORT
depends_on:
- postgres
restart: always
nginx:
container_name : nginx
image: nginx:1.23.2-alpine # alpine 이미지를 지정해줍니다.
ports:
- "80:80"
- "443:443"
volumes:
- ./nginx/default.conf:/etc/nginx/conf.d/default.conf
- django_media:/media/
- django_static:/static/
depends_on:
- backend
restart: always이미지 부분만 수정해주었다!!
- 이미지 용량 비교
sudo docker images : 이미지 용량 확인
sudo docker images prune -a : 사용하지 않는 이미지 삭제
sudo docker rmi 이미지 이름 : 이미지 지정해서 삭제(rmi는 remove image의 약자)
<전>
<후>
