Airflow 개발환경개요

박성현·2024년 5월 26일

Airflow

목록 보기
4/28

1. 기본 아키텍처

기본설치 때 만든 wsl 내 dags폴더에 로컬 환경과 연동하여 수행 .


from 슬기로운 통계생활, Airflow 마스터 클래스 강의자료 중


2. 파이썬 인터프리터 설정

위 그림에 Airflow컨테이너가 사용하는 파이썬 버전과 로컬 환경에서의 파이썬 버전을 일치 시켜야 함

1. Airflow 버전 확인 ( python 3.8.18 )

2. 파이썬 가상환경 ( Local )

라이브러리 충돌 방지를 위해 프로젝트 별 가상환경을 별도로 분리하여 수행

  1. 필요 파이썬 버전 설치 후 작업 공간에서 가상환경 생성
python -m venv ./venv

참고 : 글로벌 버전과 특정 버전이 다를 때, 가상환경 생성 시 --python 옵션 사용:
python -m venv ./venv --python <원하는 파이썬 버전>
명령을 사용하여 가상환경을 만들면 지정한 파이썬 버전이 가상환경 내 기본 파이썬 버전으로 설정할수 있음

  1. 가상환경의 인터프리터 설정
    help -> Show All commands -> interpreter 입력

3. Git Push & Pull(별도작성예정)

  1. git 환경 설정 ( local repository 생성 )
git init
  1. 변경 내용 commit
    git commit -> git push

참고 :
branch = repo 버전

  1. local repo와 원격 repo 연결
    origin이라는 이름의 원격 repo를 만들고, 주소는 ~ 이렇게 된다
git remote add orgin https://github.com/~github repo 주소 
  1. push
git push -u origin master

이때 git 인증절차 필요 , token ? ( 추가 git study 시 작성예정)

profile
다소Good한 데이터 엔지니어

0개의 댓글