Airflow 실행

장경민·2024년 2월 28일
0

Project

목록 보기
2/2

Airflow 접속하기

  1. Aws ec2 인스턴스 접속하기 ( cmd or putty)
  1. docker ps - a
    (airflow2.5 컨테이너 존재하는지 확인하는 명령어)
  1. airflow dags 생성
    cd airflow 이동 후, vim 파일이름.py들어가서
    airflow code 기입 후 저장(:wq)
  1. docker start -ai airflow2.5
    (종료된 (exited) 컨테이너를 다시 실행하고 명령어 날릴 수 있도록 bash에 접속하는 명령어)
  1. (Bash안에서) nohup airflow webserver &
  1. (Bash안에서) nohup airflow scheduler &
  1. Aws ec2 public ip:8080으로 접속하기
  • aws ec2 보안그룹 - 인바운드 규칙 - 보안규칙 설정 후 들어가기
    (모든 TCP/ 내 ip주소)
  1. Airflow 계정 로그인하기
  1. pip install이 필요한 경우, Bash안에서 설치하기
    ex) Chrome driver, python, mysql, selenium 등등
  1. dokcer 종료없이 bash 밖에서 작업할 때, ctrl + p + q 누르고 작업 후, airflow 새로고침하면 됨.

ex) vim popup.py를 수정할 경우
bash 밖에서 수정해야하므로, airflow exit 할 필요없이
ctrl + p + q 누르고 작업 후, airflow 새로고침

  1. Airflow 종료
    Bash에서 exit
profile
rudals

0개의 댓글