airflow-code-editor plugin은 DAG를 Airflow UI내에서 작성할 수 있는 plugin이다.
airflow-code-editor github링크에서 더 자세한 설명과 스크린샷을 볼 수 있다.
Docker가 아닌 Airflow를 바로 설치한 경우에는 위 github 링크에 안내된 대로 간단하게 설치할 수 있는데, Docker에 Airflow를 설치한 필자는 조금 헤맸고 성공적으로 설치한 지금 설치 과정을 정리해본다.
docker-compose.yml
파일이 있는 경로에 Dockerfile
파일을 만든다. (파일 확장자 없음)2.3.2
였기 때문에 FROM apache/airflow:2.3.2
로 작성했고, 다른 버전이면 버전 숫자를 바꾸어 입력해준다. FROM apache/airflow:2.3.2
COPY requirements.txt .
RUN pip install -r requirements.txt
docker-compose.yml
파일이 있는 경로에 requirements.txt
파일을 만든다. apache-airflow
airflow-code-editor
docker-compose.yml
파일 내용을 일부 수정하자.image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.3.2}
이 코드를 build: .
로 바꾸어준다. 아래 코드와 같이 바꿔주면 된다. (아래 코드는 전체 코드 중 일부) ...
---
version: '3'
x-airflow-common:
&airflow-common
build: . # image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.1.0}
environment:
&airflow-common-env
AIRFLOW__CORE__EXECUTOR: CeleryExecutor
AIRFLOW__CORE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
...
docker-compose build
를 실행한다. docker-compose up
코드를 실행한 후 airflow UI에서 다음과 같이 나타나면 성공!필자는 순서대로 진행한 것이 아니라 이거 해서 안되면 저거 해보는 식으로 진행하였기 때문에 정리 과정에서 불필요한 과정이 있을 수 있다..
안녕하세요! 덕분에 도움받아서 막히던 부분을 해결했어요!! 감사합니다 ><