🧩 Cafe24 콘텐츠 데이터 자동화 파이프라인 구축기 (ft. BigQuery)

💬 Intro

Cafe24의 유튜브 콘텐츠 통계 데이터를 매일 수집해 BigQuery에 적재하는 자동화 파이프라인을 만들면서 다양한 시행착오를 겪었다. 특히 Cloud Functions, Selenium 크롤링, CSV 처리, BigQuery 스키마 설계와 관련해 작은 문제들이 많았고, 이를 하나씩 해결해가며 자동화에 성공한 기록을 공유해보려 한다.

---

📌 전체 구조

• Cloud Function (Python)
  • export-cafe24-contents: 크롤링 및 업로드 함수
• Selenium + Requests
  • Cafe24 관리자 페이지에서 유튜브 콘텐츠 통계 데이터를 다운로드
• BigQuery
  • 일자별 데이터를 적재 (중복 제거 후 append 방식)
• Cloud Scheduler
  • 매일 오전 실행

---

⚠️ 트러블슈팅 모음

1. Excel 다운로드 파일이 열리지 않음

현상

• Cafe24 관리자에서 다운로드한 .xlsx 파일이 Excel에서 열리지 않고 경고 발생

원인

• 실제 파일은 .csv 포맷이지만 확장자만 .xlsx

해결

• 파일을 .csv로 저장하여 처리
• response.content를 wb로 저장 후 csv.reader로 재파싱하여 해결

---

2. Selenium으로 로그인 후 session 전환 실패

현상

• Selenium으로 로그인은 되지만, 이후 API 요청 시 세션 인증 실패

해결

cookies = driver.get_cookies()
session = requests.Session()
for cookie in cookies:
    session.cookies.set(cookie["name"], cookie["value"])

→ Selenium에서 받은 쿠키를 Requests 세션에 옮기는 방식으로 해결

---

3. 데이터 기간 설정 문제

요구사항

• 매일 전일 기준 데이터만 적재하고 싶음

기존 코드

start_date = "2025-02-22"
end_date = "2025-03-23"

변경 코드

target_date = (datetime.today() - timedelta(days=1)).strftime("%Y-%m-%d")

→ 전일 기준으로 start/end 날짜를 동일하게 설정하여 해결

---

4. BigQuery 테이블이 없으면 에러 발생

현상

• NotFound: Table ... was not found 에러

해결

• get_table()로 확인하고 없으면 dataset → table 순서로 자동 생성 로직 작성

try:
    client.get_table(table_ref)
except Exception:
    # dataset 생성 → table 생성

---

5. 백필(Backfill) 자동화

요구사항

• 2025-01-01부터 하루씩 모든 데이터를 수집해서 적재하고 싶음

해결

def backfill(start_date_str, end_date_str):
    ...

→ 날짜를 파라미터로 넘길 수 있게 download_csv(target_date=...), load_to_bigquery(target_date=...) 함수 모두 리팩토링

---

6. 한글 컬럼명 → 영문 컬럼명

문제점

• BigQuery SQL 쿼리에서 한글 컬럼 사용 시 불편함

해결

header = ["log_date", "content_name", "channel_name", "sales", "order_count", "visitor_count", "conversion_rate"]

→ CSV 저장 시 컬럼명을 영문으로 변경하여 통일

---

7. 중복 데이터 제거

문제점

• 날짜별로 같은 데이터가 쌓이면 중복됨

해결

DELETE FROM `{table_ref}` WHERE log_date = '{target_date}'

→ 적재 전에 해당 날짜의 기존 데이터를 삭제 후 새로 insert

---

✅ 최종 결과

• 매일 콘텐츠별 통계 데이터를 크롤링 → 전처리 → BigQuery 적재까지 자동화 성공
• Cloud Scheduler + Cloud Function을 통해 무중단 운영 가능
• 원하는 기간까지 백필 완료