파이프라인

이미지 빌드, 로컬 테스트, 소스코드 수정 및 재빌드까지이번 포스트에서는 Docker를 이용하여 Python 환경에 Chrome과 SeleniumBase를 포함하는 이미지를 구축하는 방법을 단계별로 설명합니다. 이 환경은 이후 Cloud Run과 Cloud Tasks를

이번 포스트에서는 SeleniumBase를 Docker 환경에서 안정적으로 실행하기 위한 이미지 빌드와 테스트 방법을 다루고, 이후에는 SerpApi로 전환한 이유와 사용법까지 실전 예제를 포함해 설명하겠습니다.seleniumbase==4.18.1google-cloud

그냥 DAG만 옮긴 게 아니라, 왜 이렇게 돌아가는지를 이해하려고 일부러 돌아갔다 오기도 했다. 노가다였지만, 그 과정에서 에어플로우가 뭘 중요하게 보는지 몸으로 배웠다.스케줄 vs 실행 데이터schedule이 “언제 돌릴지”만 말하는 줄 알았는데, 실제로는 그 시간