[Airflow] Docker에 airflow-code-editor plugin 설치하기

j2·2022년 7월 2일
1

Airflow

목록 보기
2/3

airflow-code-editor plugin은 DAG를 Airflow UI내에서 작성할 수 있는 plugin이다.
airflow-code-editor github링크에서 더 자세한 설명과 스크린샷을 볼 수 있다.

Docker가 아닌 Airflow를 바로 설치한 경우에는 위 github 링크에 안내된 대로 간단하게 설치할 수 있는데, Docker에 Airflow를 설치한 필자는 조금 헤맸고 성공적으로 설치한 지금 설치 과정을 정리해본다.

  1. docker-compose.yml 파일이 있는 경로에 Dockerfile 파일을 만든다. (파일 확장자 없음)
    아래 코드를 복사해 파일 내용에 붙여넣는다. 이 때 내가 설치한 airflow의 버전이 2.3.2 였기 때문에 FROM apache/airflow:2.3.2로 작성했고, 다른 버전이면 버전 숫자를 바꾸어 입력해준다.
        FROM apache/airflow:2.3.2
		COPY requirements.txt .
		RUN pip install -r requirements.txt
  1. docker-compose.yml 파일이 있는 경로에 requirements.txt 파일을 만든다.
    아래 코드를 복사해 파일 내용에 붙여넣는다. (이외에도 pip install이 필요한 package명을 이 파일에 적으면 같이 설치된다)
		apache-airflow
		airflow-code-editor
  1. docker-compose.yml 파일 내용을 일부 수정하자.
    파일 코드 중 image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.3.2} 이 코드를 build: .로 바꾸어준다. 아래 코드와 같이 바꿔주면 된다. (아래 코드는 전체 코드 중 일부)
		...
        ---
        version: '3'
        x-airflow-common:
          &airflow-common
          build: .       # image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.1.0}
          environment:
            &airflow-common-env
            AIRFLOW__CORE__EXECUTOR: CeleryExecutor
            AIRFLOW__CORE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
        ...
  1. terminal 창으로 가서 docker-compose build 를 실행한다.
  2. 정상적으로 build되고 docker-compose up 코드를 실행한 후 airflow UI에서 다음과 같이 나타나면 성공!

필자는 순서대로 진행한 것이 아니라 이거 해서 안되면 저거 해보는 식으로 진행하였기 때문에 정리 과정에서 불필요한 과정이 있을 수 있다..

profile
Data Analyst 주니어의 공부 기록

2개의 댓글

comment-user-thumbnail
2022년 9월 18일

안녕하세요! 덕분에 도움받아서 막히던 부분을 해결했어요!! 감사합니다 ><

1개의 답글