📒 Docker(6)

📌 Airflow API 활성화

API

• airflow.cfg의 api 섹션에서 auth_backend의 값을 변경

[api]
auth_backend = airflow.api.auth.backend.basic_auth

• docker-compose.yaml에는 이미 설정이 되어 있음 (environments)
  AIRFLOWAPIAUTH_BACKENDS: 'airflow.api.auth.backend.basic_auth,airflow.api.auth.backend.session'

• 아래 명령으로 확인해보기
  $ docker exec -it learn-airflow-airflow-scheduler-1 airflow config get-value api auth_backend
  airflow.api.auth.backend.basic_auth,airflow.api.auth.backend.session

• Airflow Web UI에서 새로운 사용자 추가 (API 사용자)

  • Security -> List Users -> +
  • 이후 화면에서 새 사용자 정보 추가 (monitor:MonitorUser1)
    

📌 Health API 호출

• health API 호출
  curl -X GET --user "monitor:MonitorUser1" http://localhost:8080/health
• 정상 경우 응답:

{
 "metadatabase": {
 "status": "healthy"
 },
 "scheduler": {
 "status": "healthy",
 "latest_scheduler_heartbeat": "2022-03-12T06:02:38.067178+00:00"
 }
}

📌 API 사용예

• API 레퍼런스 살펴보기
• 특정 DAG를 API로 Trigger하기

curl -X POST --user "airflow:airflow" -H 'Content-Type: application/json' -d
'{"execution_date":"2023-05-24T00:00:00Z"}'
"http://localhost:8080/api/v1/dags/HelloWorld/dagRuns"
{
 "detail": "DAGRun with DAG ID: 'HelloWorld' and DAGRun logical date: '2023-05-24 00:00:00+00:00'
already exists",
 "status": 409,
 "title": "Conflict",
 "type":
"https://airflow.apache.org/docs/apache-airflow/2.5.1/stable-rest-api-ref.html#section/Errors/AlreadyExists"
}

• 모든 DAG 리스트하기

curl -X GET --user "airflow:airflow" http://localhost:8080/api/v1/dags

• 모든 Variable 리스트하기

curl -X GET --user "airflow:airflow" http://localhost:8080/api/v1/variables
{
 "total_entries": 7,
 "variables": [
 {
 "description": null,
 "key": "api_token",
 "value": "12345667"
 },
 {
 "description": null,
 "key": "csv_url",
 "value": "https://s3-geospatial.s3-us-west-2.amazonaws.com/name_gender.csv"
 },

• 모든 Config 리스트하기

curl -X GET --user "airflow:airflow" http://localhost:8080/api/v1/config
{
 "detail": "Your Airflow administrator chose not to expose the configuration, most likely for security
reasons.",
 "status": 403,
 "title": "Forbidden",
 "type":
"https://airflow.apache.org/docs/apache-airflow/2.5.1/stable-rest-api-ref.html#section/Errors/PermissionDe
nied"
}

📌 API와 Config 활용

1. 활성화된 Dags를 반환하는 Python 코드

import requests

def get_active_dags():
    url = "http://localhost:8080/api/v1/dags"
    
    username, password = "airflow", "airflow"

    try:
        response = requests.get(url, auth=(username, password))
        response_json = response.json()

        for dag in response_json["dags"]:
            if dag["is_paused"] is False:
                print(f"Active DAG: {dag['dag_id']}")

    except requests.exceptions.RequestException as e:
        print(f"Error: {e}")

get_active_dags()

2. config.cfg 파일에서는 webserver 섹션에서 expose_config를 False -> True로 바꾸어 주면 된다.

dockr-compose.yml 파일에서는 x-airflow-common -> environment 섹션에서 AIRFLOW_WEBSERVER_EXPOSE_CONFIG: 'true'로 작성해주면 된다.

3. connections API의 환경변수로 지정된 것도 반환하는가?

export
Connections successfully exported to connections.json.
import
[2024-06-04 09:46:03,316] {crypto.py:83} WARNING - empty cryptography key - values will not be stored encrypted.
Could not import connection aws_conn_id: connection already exists.
Could not import connection redshift_dev_db: connection already exists.

connections API도 환경변수로 지정된 것은 반환하지 않는다.