섹션7: CustomOperator 좀 더 정리

(2023-08-23)
공부를 해보니 SimpleHttpOperator보다 CustomOperator를 깊게 공부하고 정리를 하는 것이 중요하다고 생각했다.

---

주제선정:

서울시 인구 밀집 지역 시각화
(with Airflow/PostgreSQL/Tableau)

데이터 수집:

서울시 실시간 인구 데이터

---

1. SimpleHttpOperator란?

• HTTP 요청을 하고 결과로 text를 리턴 받는 오퍼레이터 (리턴 값은 Xcom에 저장)
• HTTP를 이용하여 API를 처리하는 RESTAPI 호출시 사용 가능

SimpleHttpOperator 공식 문서

• http-conn_id : 등록해놨던 HTTP connection에서 어떤 connection_id를 가져올것인지 지정
• endpoint: .com/뒤에 붙는 정보들을 endpoint파라미터에 작성
• method: GET/POST/DELETE/PUT/PATCH 중 어떤 메서드를 쓸 것인지 작성
• data: 어떤 데이터를 insert할 건지, 어떤 데이터를 파라미터로 가져올건지
• headers: GET요청 헤더
• response_check: 응답이 제대로 왔는지, 안왔는지 체크
• response_filter: 전처리 작업 함수를 Callable할 수 있음
  http://openapi.seoul.go.kr:8088/(인증키)/xml/citydata/1/5/광화문·덕수궁

---

Conn 등록

1) 라이브러리 import

• from airflow.providers.http.operators.http import SimpleHttpOperator

• API키를 코드에 노출시키지 않고 싶다면?
  -> 전역변수 variable 이용하면 된다.
  

---

PostgreSQL

Tableau