Data Engineering

Airflow 운영 중 헷갈리는 시간 개념을 정리하고자 한다. 헷갈릴 때 마다 참고 할 예정~!

PySpark docs Quickstart Spark Connect 내용 번역 겸 정리를 통해 개념을 확실히 해보자~! (1에 비해 내용이 짧음,,)https://spark.apache.org/docs/latest/api/python/getting_starte

주말을 잘 쉬고 출근한 월요일 아침부터 airflow 배치가 이상함을 발견했다..

https://spark.apache.org/docs/latest/api/python/ 1. PySpark Python 에서 사용되는 Apache Spark interface 로, Spark applications 를 Python APIs 로 쓸 수 있을 뿐 아니

ML 학습 파이프라인 스케줄을 짜다보면, 요일 마다 다른 task 를 실행하고 싶을 때(해야 할 때)가 있다. 이 때 Airflow 내장 Operator 를 사용하면 간단하게 구현할 수 있다. BranchDayOfWeekOperator BranchDayOfWeek

1. 하둡이란? > Hadoop 이란 빅데이터를 분할하여 저장하고 처리하기 위한 오픈소스 프레임워크. 구조화 데이터가 아닌 비구조화 데이터등을 분산으로 저장 (HDFS) 해서 분산 처리 작업(범용 컴퓨터 여러 대를 클러스터화하고, 클러스터에서 병렬로 동시에 처리하여