- 전체보기(104)
- aws(25)
- python(18)
- kubernetes(16)
- spark(16)
- 네이버 클라우드 플랫폼(15)
- Naver Cloud Platform(15)
- 쿠버네티스(12)
- GCP(9)
- lambda(8)
- docker(8)
- EMR(7)
- NKS(6)
- Google Cloud Platform(5)
- eks(5)
- emr on eks(5)
- airflow(5)
- ec2(4)
- Lambda url(3)
- Delta Lake(3)
- linux(3)
- 자격증(3)
- Database(3)
- GLUE(2)
- dataForm(2)
- Trino(2)
- Pubsub(2)
- vpc(2)
- ubuntu(2)
- helm(2)
- 데이터분석(2)
- shell script(2)
- BigQuery(2)
- medium(2)
- AWS CDK(2)
- route53(1)
- 회고(1)
- quicksight(1)
- Grafana Loki(1)
- dotenv(1)
- Naver Cloud Platofrm(1)
- dockerfile(1)
- UV(1)
- Spark Streaming(1)
- lake formation(1)
- hive(1)
- 도커(1)
- Severless(1)
- step functions(1)
- error(1)
- ssh(1)
- PostgresSQL(1)
- computeengine(1)
- gcs(1)
- Cloud SQL(1)
- polars(1)
- ncp(1)
- DuckLake(1)
- Optuna(1)
- SQLAlchemy(1)
- mysql(1)
- CloudTrail(1)
- microk8s(1)
- 2023(1)
- devops(1)
- data(1)
- kafka(1)
- pandas(1)
- 데이터시각화(1)
- DuckDB(1)
- github(1)
- DCA(1)
- furiko(1)
- sql(1)
- scala(1)
- ORM(1)
- assume role(1)
- DNS(1)
- NAS(1)
- pyspark(1)
- GitLab(1)
- IAM(1)
- dataset(1)
- serverless(1)
- SQS(1)
- MLflow(1)
- dataclass(1)
Airflow XCom으로 데이터를 주고받는 5가지 방법
0. INTRO 모든 워크플로우 자동화 도구가 그렇듯, Apache Airflow에서도 테스크(Task) 간에 데이터를 주고받아야 하는 상황이 빈번하게 발생합니다. Airflow에서는 이를 위해 XCom(Cross-Communication)이라는 메커니즘을 제공합니다. XCom이란? XCom은 Airflow의 메타데이터베이스에 저장되는 작은 데이터 조각...
🧱 Databricks Unity Catalog(UC) 완벽 정리 가이드
0. INTRO 데이터 플랫폼이 커질수록 가장 먼저 복잡해지는 것은 데이터 자체가 아니라 데이터의 관리 방식입니다. 여러 팀이 같은 데이터 레이크를 공유하고, 수많은 테이블·파일·모델이 쌓이기 시작하면 “이 데이터는 누가 만들었는가?”, “누가 접근할 수 있는가?”, “어디에 저장되어 있는가?” 같은 질문에 명확히 답하기 어려워지죠.😅 Databric...
[GCP] Pub/Sub을 활용하여 BigQuery 테이블에 실시간으로 데이터 적재하기.
🔹 0. INTRO 이전 글 'Google Cloud Pub/Sub 서비스의 핵심 개념과 실습 튜토리얼'에서는 Pub/Sub 서비스의 기초적인 내용을 살펴보았습니다. 이번 글에서는 Pub/Sub 토픽으로 전송된 메시지를 읽어 BigQuery 테이블에 직접 저장하는 방법을 다뤄보겠습니다. 🔹 1. BigQuery 테이블 생성 ▪ 1) 단일 스키마 토픽...
[GCP] Google Cloud Pub/Sub 서비스의 핵심 개념과 실습 튜토리얼 (UI / Python)
GCP PubSub 서비스에 대한 개념 및 python을 통한 실습 튜토리얼!
DuckLake 초기 세팅 및 기초 사용 튜토리얼! (PostgreSQL/MySQL + 클라우드 객체 저장소)
DuckLake에 대한 간략한 설명 및 Python을 통해 DuckLake 환경 세팅하는 방법을 차근차근 알려드립니다!
AIRFLOW 3.0, 클라우드 객체 스토리지를 Xcom 저장소로 설정하기(xcom backend)
Airflow의 XCom ObjectStorage Backend 설정하는 방법에 대하여 (AWS S3, Google Cloud Storage)
[AIRFLOW] Airflow의 Setup과 Teardown에 대해 알아보자!
airflow Task의 선행, 후행 작업을 설정할 수 있는 setup과 teardown에 대한 이해!
[GCP] BigQuery Dataform으로 증분(Incremental) 데이터 처리하기
GCS에 일정 간격으로 업로드되는 데이터를 BigQuery로 증분 처리하여 조회해보자!
[GCP] BigQuery Dataform과 Github 연동하기( + 심화 내용)
🔹 0. INTRO 앞선 글(BigQuery Dataform으로 빅쿼리 데이터 플로우 자동화하기!)에서는 BigQuery에서 제공해주는 Dataform 이라는 서비스에 대해 알아보고 간단한 실습까지 진행해 보았습니다. 빅쿼리 데이터를 기반으로 자동화된 파이프라인을 만들어준다는 것 외에도 Dataform에는 매력적인 기능들이 많이 있는데요, 대표적인 것이 ...
🌊 Delta Lake 입문자를 위한 가이드 - 실전편(Part 2. delta-spark 라이브러리 활용)
🌊 Delta Lake 입문자를 위한 가이드 실전편! Part2! delta-spark 라이브러리 사용법 총 정리!!
📊 200+ 데이터 엔지니어 인터뷰에서 발견한 최상위 1%의 비결
(해당 글은 아래 명시한 출처의 글을 한글로 각색 및 요약한 내용입니다.)🔥 최상위 데이터 엔지니어들의 공통점이들은 데이터를 단순한 값이 아니라, 흐름(flow) 으로 봅니다.분산 시스템(HDFS, S3), 배치 vs. 스트림 처리 차이를 직관적으로 이해함.저장 포맷
🌊 Delta Lake 입문자를 위한 가이드 - 이론편
0. Delta Lake란 무엇인가? 1. Delta Lake가 등장한 배경 2. Delta Lake의 핵심 설계 원리 3. Delta Lake의 핵심 기능 4. 기존 DL&DW 와의 비교
❗데이터 엔지니어링의 현실, 화려함 뒤에 숨겨진 10가지 뼈 때리는 진실🤕
(해당 글은 아래 명시한 출처의 글을 한글로 각색 및 요약한 내용입니다.) ❗데이터 엔지니어링의 현실, 화려함 뒤에 숨겨진 10가지 뼈 때리는 진실🤕 대용량 데이터, 최첨단 기술, 실시간 분석, 멋진 대시보드…... 데이터 엔지니어링에 대한 이야기는 늘 화려하죠.
"notion-database" Python 라이브러리로 Notion Database 다뤄보기!
notion-database 라이브러리를 활용하여 노션의 데이터베이스를 python으로 자유자재로 다뤄봅시다!
Docker Network들에 대해 실습과 함께 알아보자!(Bridge, Host, None)
Docker의 Bridge, Host, None 네트워크에 대하여 알아보고 실습까지 진행해봅시다!
[Airflow] Docker-Compose Airflow 시스템에 외부 패키지 추가하기!
Docker Compose로 구축된 Airflow 시스템에 외부 패키지 추가 설치하기!