🌐 REST API를 통한 국가정보 수집 및 Redshift 적재 DAG 구현

Airflow 에서 REST API를 통해 가져온 국가정보를 데이터베이스(Redshift)에 적재하는 DAG을 구현했다.

링크
https://github.com/jinyoung0711/learn-airflow/tree/main/country_info

특징 & 작업 명세

🔹 작업 명세

1. Full Refresh 방식으로 구현하여, 실행 시마다 테이블을 새로 생성하고 전체 데이터를 덮어씀

2. API URL: https://restcountries.com/v3.1/all

3. 추출 항목 (예외 처리 포함):

   • name → ['name']['official']

   • population → ['population']

   • area → ['area']

4. Redshift 적재 대상: 본인 스키마의 country_info 테이블

5. 스케줄링: 매주 토요일 오전 6시 30분(UTC 기준)에 실행

📂 구현 파일

1. country_info_dag.py

   • DAG 정의, @task 데코레이터를 활용한 extract/load 구조화

   • schedule 및 Redshift 대상 스키마 지정 포함

2. country_utils.py

   • API 요청 및 JSON 파싱 (get_country_data())

   • Redshift 커넥션 후 테이블 생성 및 INSERT (load_country_data())

   • 데이터 변환 시 특수문자 처리 및 예외 대응 포함

🚀 DAG 구조

with DAG(...) as dag:
    @task
    def extract():
        return get_country_data()

    @task
    def load(data):
        return load_country_data("jk990711", "country_info", data)

    load(extract())

extract() → REST API에서 JSON 가져오기

load() → Redshift에 FULL REFRESH 계산 적재

✅ 결과

Airflow UI에서 DAG가 주기적으로 실행되며 국가 정보가 성공적으로 Redshift에 저장됨

데이터는 name, population, area 컬럼으로 구성된 테이블로 정리됨