Data Engineering
1.GCP Cloud Functions + Cafe24 연동 Trouble Shooting
Cloud Functions에서 Cafe24 주문 데이터를 매일 가져와 BigQuery에 적재, Refresh Token 기반 자동 토큰 갱신 및 .env 업데이트 자동화
2.GCP 환경변수 설정 가이드
키파일을 소중히 다룹시다.
3.데이터 엔지니어링에 쓰이는 GCP 서버리스 플랫폼
GCP에는 다양한 서버리스 서비스가 존재하며, 각각의 역할과 사용 목적이 다릅니다. 이번 글에서는 Cloud Functions, Cloud Run, BigQuery의 개요와 특징을 정리하고, 언제 어떤 서비스를 선택해야 하는지 알아보겠습니다.이벤트 기반 서버리스 함수
4.서버리스(Serverless)란?
서버리스란?서버리스(Serverless)란 서버를 직접 관리하지 않고 클라우드 제공자가 자동으로 인프라를 운영 및 확장하는 컴퓨팅 모델이다. 개발자는 코드 작성과 배포에 집중할 수 있으며, 인프라 운영 부담이 줄어든다.GCP(Google Cloud Platform)에서
5.데이터 파이프라인 구축 및 모델링 가이드
데이터 파이프라인을 구축하고 운영할 때 고려해야 할 요소들을 정리해보겠습니다. 이번 글에서는 데이터 적재 방식, 매체 데이터 수집, BigQuery 모델링, 그리고 배포 및 자동화에 대해 설명합니다.
6.배치 처리 vs 스트리밍 처리: 차이점과 선택 기준
데이터 처리 방식에는 배치 처리(Batch Processing)와 스트리밍 처리(Streaming Processing)가 있습니다. 각각의 차이점을 정리하고, 언제 어떤 방식을 선택해야 하는지 알아보겠습니다.💡 배치가 더 적합한 이유 → 비용 절감 & 유지보수 용이실
7.디지털 광고 캠페인 가이드: Web SDK, 광고 유형, CPC 분석
디지털 마케팅에서 '캠페인'이란 특정 목표를 가지고 운영하는 광고 활동을 의미합니다. 광고를 '태운다'는 표현은 광고 예산을 투입하여 노출을 늘리는 것을 의미하며, 효과적인 광고 집행을 위해서는 적절한 전략이 필요합니다.Web SDK(Software Developmen
8.웹 크롤링(Web Crawling) 기본 개념 정리
웹 크롤링은 웹에서 원하는 데이터를 자동으로 수집하는 기술입니다.보통 크롤링 방식은 정적 크롤링(Static Crawling)과 동적 크롤링(Dynamic Crawling)으로 나뉘며,웹 페이지의 렌더링 방식(CSR vs SSR)에 따라 접근 방식이 달라집니다.정적 크
9.🧩 Cafe24 콘텐츠 데이터 자동화 파이프라인 구축기 (ft. BigQuery)
Cafe24의 유튜브 콘텐츠 통계 데이터를 매일 수집해 BigQuery에 적재하는 자동화 파이프라인을 만들면서 다양한 시행착오를 겪었습니다. 특히 Cloud Functions, Selenium 크롤링, CSV 처리, BigQuery 스키마 설계와 관련해 작은 문제들이
10.[GCP] Cloud Run으로 Python 크롤러 배포하면서 겪은 트러블슈팅 기록
이번에 회사에서 콘텐츠 데이터를 크롤링해서 BigQuery에 적재하는 파이프라인을 Cloud Run으로 배포했다.단순해 보이지만, Cloud Run + Selenium + 환경 변수 조합에는 생각보다 많은 시행착오가 따랐기에 그 중 가장 크게 막혔던 이슈 3가지와 해결
11.[GCP] Cloud Run + Python 환경에서 타임존 문제 해결하기 (ft. Cafe24, 네이버 스마트스토어)
최근 GCP Cloud Run에 Python Selenium 크롤러를 올려서 Cafe24 콘텐츠 데이터를 매일 크롤링하고 BigQuery에 저장하는 자동화 파이프라인을 만들었다. 그런데 예상치 못한 타임존 문제를 겪게 되었다.✅ 결론부터 말하자면: GCP 환경에서는 무
12.[GCP] 상품 데이터 S3 업로드 자동화 트러블슈팅 (with Cloud Functions)
제품 JSON 데이터를 가공하여 필터링 → 변환 → 네이버 쇼핑 API 이용해 TSV 포맷으로 저장 → S3 업로드까지 자동화하는 파이프라인을 구축했습니다.파이썬으로 작성하였고, Cloud Functions 에 배포하여 매일 S3 Bucket에 업로드하는 걸 목표로 진
13.[GCP] Cloud Functions 로깅 전략: `print`에서 `logging`으로 전환한 이유
Cloud Functions나 Lambda 환경에서 로그를 다루다 보면, 단순 print()만으로는 운영 환경에서의 추적성이 매우 떨어지기 때문에 logging을 사용해야합니다. 그래서 오늘은 logging에 대해 정리해보고자합니다.
14.[AWS] S3 정적 파일을 CloudFront CDN으로 서빙하고, 캐시 무효화 처리하기
S3만 쓰고 있다고? CDN 안 쓰고 뭐해.
15.데이터 모니터링 슬랙봇 구축기
슬랙봇으로 스레드도 자동 생성 가능!
16.[GCP] Google Cloud Functions 2세대에서 환경변수 관리와 인증 방식 정리 (.env → env.yaml + ADC)
env.yaml로 갈아타십쇼
17.Cloud Run에서 SeleniumBase, Chrome, ChromeDriver 관리하기
SeleniumBase 배포 시에는 버전 관리나 옵션 관리를 잘 해줘야함.
18.FastAPI + Cloud Run Job 기반 크롤링 자동화 파이프라인 구축 후기
초기에는 크롤러를 GCP Compute Engine 인스턴스에서 직접 돌리고 있었습니다. 하지만 크롤러의 특성상 사용자가 동시에 여러 개의 크롤 요청을 보낼 수 있고, 각 크롤링 작업은 Selenium과 Chrome을 사용하는 무거운 작업입니다. 이 때문에 다음과 같은
19.Cloud Run에서 고정 IP로 외부 API 호출하기
DV360 API를 호출해야 하는 FastAPI 기반 크롤러를 Cloud Run Job으로 실행하면서, 다음과 같은 문제가 발생했다:외부 API(Google Ads, DV360 등)는 IP 화이트리스트 기반 접근만 허용함.Cloud Run은 기본적으로 고정 IP가 없다
20.DV360 크롤러 OTP 인증 충돌 문제 해결
Cloud Run Job으로 DV360 크롤러 OTP 인증 동시 충돌 문제 해결하는 법.