
⏰ 온프레미스 환경에서 매일 정기적으로 전일의 정보를 Airflow를 통해 DB에 적재하는 과정입니다.한국 주식 공공데이터 라이브러리인 pykrx를 통해 데이터 수집ticker 정보 조회일자별 OHLCV 조회시가 총액 조회일자별 DIV/BPS/PER/EPS 조회홈 디렉
🔗 [Airflow] 주식 데이터 크롤링 파이프라인 구현하기 (1) 초기 구현 단계에서는 종목별 데이터를 순차적으로 수집하고 저장하는 구조였지만, 1000여 개의 종목을 다루다 보니 성능 개선이 필요했습니다. 이에 따라 병렬 처리를 도입하고, 수집 단계가 성공적으로