📒 Docker(2)

📌 Docker가 필요한 이유

1. 라이브러리 충돌

• 라이브러리/모듈의 충돌 이슈 발생
• DAG에 따라 실행에 필요한 라이브러리/모듈이 달라지기 시작했다.
  -> Python Version Issue -> 3.7, 3.8등등에서 사용가능한 라이브러리/모듈이 갈린다.
• 이로 인하여 DAG 혹은 Task별로 별도의 독립공간을 만들어주는 것이 필요하다.
  • Docker to the rescue
  • Dag 혹은 Task 코드를 Docker Image로 만들고 이를 독립된 공간안에서 실행한다.

2. Worker의 부족

• Scale Up/Out
  -> 클라우드 서비스 사용
• K8s와 같은 컨테이너 기술 사용 -> 필요한만큼 서버에 요청

3. 낮은 Server Utilization Issue

• Airflow 전용하드웨어를 지정하였지만 서버들이 항상 바쁘지 않은경우
• 서비스별로 전용 서버를할당하는 것은 여러가지 Issue를 만들어낸다.
  • 서비스별로 Capacity 관리를해야한다.
  • 각 서비스에 속한 서버들을 보면 utilization이 낮은 이슈가 발생한다.
• 이 역시 K8s와 같은 컨테이너기술의 도입으로 해결이 가능하다.

4. 해결책

• Task나 DAG코드를 Docker Image로 만들어서 Docker Container 형태로 실행
  • 라이브러리/모듈 충돌 방지
  • 개발 환경과 프로덕션 환경을 동일하게 유지
• Airflow Worker를 K8s에서 필요한만큼 동적으로 할당하여 사용
  • 전용 서버를 Airflow에 할당하지 않고 Container Orchestration 서비스를 통해 할당해서 사용하고 리턴
• Airflow에서 이를 해결하는 방법은 3가지
  • Airflow Operator로 K8sPodOperator를 사용
  • Airflow Operator로 DockerOperator를 사용
  • Airflow Executor로 아래를 사용
    • K8sExecutor
    • CeleryK8sExecutor
    • LocalK8sExecutor

5. Airflow Executor

• Executor는 Task들을 관리하고 실행하는 역할을 수행한다.
  • 병렬 혹은 일렬 실행이나 어느 worker에서 실행할지 등등
• 다양한 수의 Executor 타입이 존재한다.
  • Sequential Executor: 디폴드로 설치되며 Sqlite와 같은 싱글스레드 DB에서만 사용가능하다.
  • Local Executor: task들을 Airflow 마스터노드안에서 실행한다.
  • Celery Executor: 다수의 Worker 노드가 있는 경우 사용되며 Celery 큐를 사용하여 Task들을 Worker 노드로 분산하여 실행한다.
  • K8s Executor는 K8s 클러스터를 사용하여 Task들을 독립된 환경에서 사용한다.
  • Local K8s Executor와 Celery K8s Executor도 존재한다.

---

📌 Docker 프로그램 개발 프로세스

1. High-Level Docker 사용 프로세스

• 먼저 대상 소프트웨어를 선택
  • 다수의 컴포넌트로 구성되는 SW라면 각각이 Docker Image로 만들어져야할 수도 있다.
• 이를 Docker Image로 빌드 -> Dockerization이라고 부른다.
  • Dockerfile이라는 테스트 파일로 세부 정보를 기술한다.
    • 해당 SW를 이미지로 바꾸기 위한 Docker에게 주는 명령들을 포함한다.
  • Docker Image : 하나의 Docker Container안에서 실행된다.
    • Dockerfile을 기준으로 만들어지며 SW를 실행하기위해 필요한 모든 것을 포함한다.

2. Docker Image의 구성 요소

• 기본 OS와 같은 SW의 실행환경
• SW 자체(코드)
• SW가 필요로 하는 라이브러리
• 파일 시스템 스냅샷 : 스택화된 형태로 구현된다.
• 환경 설정 변수 : 빌드할 때 변수와 실행 때 변수 두 가지가 존재한다.
• 메타 데이터 : 이미지 자체에 대한 정보(버전, 작성자, 설명 등등)

3. Docker Image의 실행

• Container를 통해 Docker Image안의 SW를 실행
  • Container는 자체 파일 시스템을 가진 특수한 프로세스로 이미지의 파일 시스템이 로딩된다.
• Image를 Container 안에서 실행한다.
  • docker run...

4. Docker Image의 등록 : Docker Hub

• Docker Regustry는 Docker Image들의 보관소이다.
  • On-prem registry와 Cloud registry가 존재한다.
  • docker hub이 가장 유명하다.
• 여기에 등록하면 회사내 혹은 퍼블릭하게 이미지를 공유가능하다.
• 리눅스에서는 Docker Desktop에 로그인을 하려면 아래 과정을 거치면 된다.
  • 먼저 GPG키를 생성해야 한다.
    • gpg --generate-key

GnuPG needs to construct a user ID to identify your key.

Real name: Molly
Email address: molly@example.com
You selected this USER-ID:
"Molly <molly@example.com>"

Change (N)ame, (E)mail, or (O)kay/(Q)uit? O

• 이후 초기화를 시켜주어야 한다. 이는 폴더를 하나 만드는 과정이다.
  • pass init <your_generated_gpg-id_public_key>
• 이제 Docker Desktop으로 돌아가면 로그인이 되어 있을 것이다.

---

📌 Docker Hello World

1. 프로그램의 개요

• Node.js로 구성된 웹 서비스
  • app.js가 전부이다.
  • Node 런타임 환경이 필요하다.
• 실행 방법
  • node app.js
• node 환경이 설정되어 있어야 실행 가능하다.

2. Dockerfile 사용가능 키워드

• FROM node:alpine : OS 종류를 적어둔다. Alpine이라는 경량 리눅스를 의미
• COPY./app : 코드 복사에 사용
• WORKDIR /app : Working directory를 지정한다.
• CMD node app.js : 실행하는 명령 앞에 지정한다.
• ARG : Docker Image를 만들 때 사용되는 변수 지정. 최종 이미지에는 안 들어간다.
• ENV : 컨테이너가 실행될 때 사용되는 환경변수. 최종 이미지에 저장된다.
• USER : 컨테이너를 실행할 때 사용할 유저 ID
• EXPOSE : 서비스 사용 포트 번호
• RUN
  • 빌드시 실행되어야하는 명령들이 지정됨 (docker build)
  • RUN apt-get update && apt-get install -y curl

2-1. CMD vs. ENTRYPOINT

ENTRYPOINT를 사용하면 명령어 사용시에 더 간편하지만 CMD가 좀더 명확하기 때문에 CMD를 사용하는 것이 좋다.

2-2. Linux Docker Hub 사용

일단 그냥 사용하려 도전한다면 무조건 실패한다.
이유는 도커 자체가 리눅스를 기반으로 제작한 것이기 때문에
윈도우와 Mac과는 달리 HUB라는 앱이 따로 없다.
이는 도커의 개념을 조금 알아야 하는데 리눅스에서의 도커는 엔진 하나이다.
여기서 우리가 아는 Desktop, Hub가 공존한다고 생각하면 편하다.
Hub를 사용하려면 아래 명령어를 사용해야 한다.

docker login -u (user-name)
password :

user-name과 password를 채워주면 로그인에 성공한다...

만약 여기서 실패한다면 아래 명령어를 실행해서

cd ~/.docker

config.json을 삭제해주면 된다.

sudo rm config.json

이후 $HOME으로 가서 다시 로그인을 시도하면 될것이다.