- 전체보기(102)
- aws(25)
- python(18)
- kubernetes(16)
- spark(16)
- 네이버 클라우드 플랫폼(15)
- Naver Cloud Platform(15)
- 쿠버네티스(12)
- GCP(9)
- lambda(8)
- docker(8)
- EMR(7)
- NKS(6)
- Google Cloud Platform(5)
- eks(5)
- emr on eks(5)
- airflow(5)
- ec2(4)
- Lambda url(3)
- Delta Lake(3)
- linux(3)
- 자격증(3)
- Database(3)
- GLUE(2)
- dataForm(2)
- Trino(2)
- Pubsub(2)
- vpc(2)
- ubuntu(2)
- helm(2)
- 데이터분석(2)
- shell script(2)
- BigQuery(2)
- medium(2)
- AWS CDK(2)
- route53(1)
- 회고(1)
- quicksight(1)
- Grafana Loki(1)
- dotenv(1)
- Naver Cloud Platofrm(1)
- dockerfile(1)
- UV(1)
- Spark Streaming(1)
- lake formation(1)
- hive(1)
- 도커(1)
- Severless(1)
- step functions(1)
- error(1)
- ssh(1)
- PostgresSQL(1)
- computeengine(1)
- gcs(1)
- Cloud SQL(1)
- polars(1)
- ncp(1)
- DuckLake(1)
- Optuna(1)
- SQLAlchemy(1)
- mysql(1)
- CloudTrail(1)
- microk8s(1)
- 2023(1)
- devops(1)
- data(1)
- kafka(1)
- pandas(1)
- 데이터시각화(1)
- DuckDB(1)
- github(1)
- DCA(1)
- furiko(1)
- sql(1)
- scala(1)
- ORM(1)
- assume role(1)
- DNS(1)
- NAS(1)
- pyspark(1)
- GitLab(1)
- IAM(1)
- dataset(1)
- serverless(1)
- SQS(1)
- MLflow(1)
- dataclass(1)
[GCP] Pub/Sub을 활용하여 BigQuery 테이블에 실시간으로 데이터 적재하기.
🔹 0. INTRO 이전 글 'Google Cloud Pub/Sub 서비스의 핵심 개념과 실습 튜토리얼'에서는 Pub/Sub 서비스의 기초적인 내용을 살펴보았습니다. 이번 글에서는 Pub/Sub 토픽으로 전송된 메시지를 읽어 BigQuery 테이블에 직접 저장하는 방법을 다뤄보겠습니다. 🔹 1. BigQuery 테이블 생성 ▪ 1) 단일 스키마 토픽...
[GCP] Google Cloud Pub/Sub 서비스의 핵심 개념과 실습 튜토리얼 (UI / Python)
GCP PubSub 서비스에 대한 개념 및 python을 통한 실습 튜토리얼!
DuckLake 초기 세팅 및 기초 사용 튜토리얼! (PostgreSQL/MySQL + 클라우드 객체 저장소)
DuckLake에 대한 간략한 설명 및 Python을 통해 DuckLake 환경 세팅하는 방법을 차근차근 알려드립니다!
AIRFLOW 3.0, 클라우드 객체 스토리지를 Xcom 저장소로 설정하기(xcom backend)
Airflow의 XCom ObjectStorage Backend 설정하는 방법에 대하여 (AWS S3, Google Cloud Storage)
[AIRFLOW] Airflow의 Setup과 Teardown에 대해 알아보자!
airflow Task의 선행, 후행 작업을 설정할 수 있는 setup과 teardown에 대한 이해!
[GCP] BigQuery Dataform으로 증분(Incremental) 데이터 처리하기
GCS에 일정 간격으로 업로드되는 데이터를 BigQuery로 증분 처리하여 조회해보자!
[GCP] BigQuery Dataform과 Github 연동하기( + 심화 내용)
🔹 0. INTRO 앞선 글(BigQuery Dataform으로 빅쿼리 데이터 플로우 자동화하기!)에서는 BigQuery에서 제공해주는 Dataform 이라는 서비스에 대해 알아보고 간단한 실습까지 진행해 보았습니다. 빅쿼리 데이터를 기반으로 자동화된 파이프라인을 만들어준다는 것 외에도 Dataform에는 매력적인 기능들이 많이 있는데요, 대표적인 것이 ...
🌊 Delta Lake 입문자를 위한 가이드 - 실전편(Part 2. delta-spark 라이브러리 활용)
🌊 Delta Lake 입문자를 위한 가이드 실전편! Part2! delta-spark 라이브러리 사용법 총 정리!!
📊 200+ 데이터 엔지니어 인터뷰에서 발견한 최상위 1%의 비결
(해당 글은 아래 명시한 출처의 글을 한글로 각색 및 요약한 내용입니다.)🔥 최상위 데이터 엔지니어들의 공통점이들은 데이터를 단순한 값이 아니라, 흐름(flow) 으로 봅니다.분산 시스템(HDFS, S3), 배치 vs. 스트림 처리 차이를 직관적으로 이해함.저장 포맷
🌊 Delta Lake 입문자를 위한 가이드 - 이론편
0. Delta Lake란 무엇인가? 1. Delta Lake가 등장한 배경 2. Delta Lake의 핵심 설계 원리 3. Delta Lake의 핵심 기능 4. 기존 DL&DW 와의 비교
❗데이터 엔지니어링의 현실, 화려함 뒤에 숨겨진 10가지 뼈 때리는 진실🤕
(해당 글은 아래 명시한 출처의 글을 한글로 각색 및 요약한 내용입니다.) ❗데이터 엔지니어링의 현실, 화려함 뒤에 숨겨진 10가지 뼈 때리는 진실🤕 대용량 데이터, 최첨단 기술, 실시간 분석, 멋진 대시보드…... 데이터 엔지니어링에 대한 이야기는 늘 화려하죠.
"notion-database" Python 라이브러리로 Notion Database 다뤄보기!
notion-database 라이브러리를 활용하여 노션의 데이터베이스를 python으로 자유자재로 다뤄봅시다!
Docker Network들에 대해 실습과 함께 알아보자!(Bridge, Host, None)
Docker의 Bridge, Host, None 네트워크에 대하여 알아보고 실습까지 진행해봅시다!
[Airflow] Docker-Compose Airflow 시스템에 외부 패키지 추가하기!
Docker Compose로 구축된 Airflow 시스템에 외부 패키지 추가 설치하기!
[Spark] Spark로 Google Cloud Storage 데이터 읽어오기!
0. INTRO 대규모 데이터를 클라우드 객체 저장소에 보관한 뒤 Spark를 활용해 분석하는 방식은 이제 데이터 분석의 대표적인 사례로 자리 잡았습니다. 특히, 클라우드 서비스 환경에서는 Spark와 객체 저장소 간의 통합이 이미 기본적으로 설정된 경우가 많아, 별다른 추가 설정 없이 바로 사용할 수 있는 편리함이 있습니다. 그러나 로컬 환경에서 Spar...