M1 Airflow 설치 및 테스트 - 실패주의

1. 가상환경 만들기

아래의 가상환경은 MAC OS 버전

$ python3 -m venv cvenv
$ source cvenv/bin/activate

2. DBeaver 설치

• 회사에서 DBeaver를 사용한다고 한다.
  
• 필자의 경우 MySQL 설치 (위의 콘센트 모양 클릭해주면 된다)
  
• Serve Host, Database, Username, Password 설정해주기
  

3. Airflow

처음엔 pip3 install 'apache-airflow[mysql]'를 시도했다.
그런데 에러 발생했다...ㅎㅎ
"OSError: mysql_config not found" 에러
알고보니 m1은 docker환경을 사용한다고 한다.
그래서 가상환경 싹 밀고 다시 설정한다.

1) airflow 설치

$ export AIRFLOW_HOME='[설치할 경로 지정]'

2) 설치 잘 됐는지 확인하기

$ echo $AIRFLOW_HOME

3) docker-compose.yam bitnami 버전 다운로드
(bitnami는 Apache에서 제공하는 프로젝트들을 실사용에 적합하도록 리패키징해서 배포)

$ curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.3.3/docker-compose.yaml'

4) Airflow 환결설정

$ echo $AIRFLOW_HOME
$ curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.3.3/docker-compose.yaml
$ mkdir -p ./dags ./logs ./plugins

5) env 파일 생성
docker-compose.yaml 파일 내부에 환경 변수로 정의 된 AIRFLOW_UID 존재
컨테이너 내부에서 Aitflow 관련 파일과 폴더의 소유자 지정하기 위해 env 파일 설정

$  echo -e "AIRFLOW_UID=$(id -u)\nAIRFLOW_GID=0" > .env
$ cat .env
AIRFLOW_UID=501
AIRFLOW_GID=0

6) airflow-init 컨테이너 실행

docker 반드시 실행 중에 명령어 입력할 것!!!

docker-compose up airflow-init

설치가 잘 된다면 아래와 같은 메세지가 뜬다고 함

crawler-airflow-init-1  | User "airflow" created with role "Admin"
crawler-airflow-init-1  | /home/airflow/.local/lib/python3.7/site-packages/airflow/configuration.py:360: FutureWarning: The auth_backends setting in [api] has had airflow.api.auth.backend.session added in the running config, which is needed by the UI. Please update your config before Apache Airflow 3.0.
crawler-airflow-init-1  |   FutureWarning,
crawler-airflow-init-1  | 2.3.3
crawler-airflow-init-1 exited with code 0

왜... Mysql이 아니라 redis, postgres가 뜨지... 다 안뜬다 실패...ㅜㅜ

다시 밀고 다시 깔아봐야겠다.

---

refer
demonic의 블로그