[Airflow] 주식 데이터 크롤링 파이프라인 구현하기
1.[Airflow] 주식 데이터 크롤링 파이프라인 구현하기 (1)
⏰ 온프레미스 환경에서 매일 정기적으로 전일의 정보를 Airflow를 통해 DB에 적재하는 과정입니다.한국 주식 공공데이터 라이브러리인 pykrx를 통해 데이터 수집ticker 정보 조회일자별 OHLCV 조회시가 총액 조회일자별 DIV/BPS/PER/EPS 조회홈 디렉
2025년 2월 23일
2.[Airflow] 주식 데이터 크롤링 파이프라인 구현하기 (2)
🔗 [Airflow] 주식 데이터 크롤링 파이프라인 구현하기 (1) 초기 구현 단계에서는 종목별 데이터를 순차적으로 수집하고 저장하는 구조였지만, 1000여 개의 종목을 다루다 보니 성능 개선이 필요했습니다. 이에 따라 병렬 처리를 도입하고, 수집 단계가 성공적으로
2025년 3월 4일