[Airflow] 폐쇄망 Windows 환경에서 Astro CLI로 Airflow + Spark 구축하기
Astro CLI를 활용해 Airflow와 Spark 연동 환경을 구축하면서 트러블슈팅 한 과정을 정리
약 9시간 전
·
0개의 댓글·
0
[Airflow] Airflow 기반 초단기예보 수집 파이프라인 구축 기록
기상청 초단기 실황 API(getUltraSrtNcst)를 주기적으로 호출Airflow DAG으로 스케줄링하여 시간 단위 데이터 자동 수집수집 결과를 JSON 파일로 저장
어제
·
0개의 댓글·
0
[Airflow] Airflow 기초
여러 작업을 정해진 순서와 규칙에 따라 자동으로 실행&관리하기 위한 워크플로우 오케스트레이션 도구임데이터 처리나 시스템 작업을 언제, 어떤 순서로, 실패 시 어떻게 실행할지를 코드로 정의하는 도구작업을 실행하도록 지시하고, 상태를 추적하며, 실패를 관리하는 역할을 함현
1일 전
·
0개의 댓글·
0
ChatGPT기반 다이렉트 인덱싱 서비스가 있다고?!
안녕하세요! 2023 미래에셋증권 빅데이터 페스티벌 최종 결선에 진출하여 사용자 반응 조사를 진행중인 건국대학교 학생팀MOONGMINJUN팀 입니다. 아래 링크에서 데모 서비스 한 번만 사용해봐 주시고 마지막에 "투자하기" 버튼을 누르면 나오는 구글폼에 설문조사 한
2023년 9월 24일
·
0개의 댓글·
1
[프로그래머스] 조건에 맞는 사용자 정보 조회하기.mysql
문제설명다음은 중고 거래 게시판 정보를 담은 USED_GOODS_BOARD 테이블과 중고 거래 게시판 첨부파일 정보를 담은 USED_GOODS_FILE 테이블입니다. USED_GOODS_BOARD 테이블은 다음과 같으며 BOARD_ID, WRITER_ID, TITLE,
2023년 3월 31일
·
0개의 댓글·
0
[IT-Security] Chapter 3. Cryptography and Cryptosystems, part II
Cryptography and Cryptosystems, part II
2023년 2월 9일
·
0개의 댓글·
0
[IT-Security] Chapter 2. Cryptography and Cryptosystems, part I
Cryptography and Cryptosystems, part I
2023년 2월 9일
·
0개의 댓글·
0