오늘 할일
- 유저 데이터 분석
- 향후 계획 빌드업
TIL
앱 광고 매출 분석 시스템 이전 및 확장 후기 요약
기존 AWS RDS와 PHP로 운영되던 앱 광고 매출 분석 시스템을 Google BigQuery와 Data Studio로 이전 및 확장하면서 얻은 경험을 바탕으로 작성.
요구사항
기존 Admob 외 7개 플랫폼 추가 트래킹 및 통합 매출 현황 파악
문제점
기존 시스템은 플랫폼 추가 시 테이블 및 프론트 개발 작업이 필요
플랫폼 및 부가 정보 수동 관리로 인한 운영 부담 증가
해결 방안
새로운 시스템 도입: BigQuery + Data Studio
후보군: elasticsearch + Kibana vs BigQuery + Data Studio
BigQuery 선택 이유
완전관리형 데이터 웨어하우스로 확장 용이
SQL 지원으로 접근성 및 데이터 관리 용이
Data Studio 연동으로 시각화 대시보드 구축 용이
온디맨드 가격 정책으로 비용 효율적
파티션, 자동 캐싱 등 쿼리 비용 절감 기능 제공
단점: BigQuery는 풀 스캔 방식으로 쿼리 속도가 느릴 수 있지만, 앱 광고 매출 분석 시스템의 특성상 빈번한 데이터 수정/삭제 및 조회 작업이 많지 않아 OLAP 시스템에 특화된 BigQuery가 더 적합하다고 판단
BigQuery 테이블 구성
GCP 프로젝트 > 데이터세트 > 테이블 구조
스키마 및 파티션 방식 설정
파티션 방식: 수집 시간 또는 특정 컬럼 값 기준 분할
파티션 테이블 장점: 쿼리 성능 향상 및 비용 절감
BigQuery 데이터 삽입
node.js 클라이언트 제공
스트리밍 방식 vs DML 방식
DML 방식 선택 이유: 배치 작업으로 데이터 처리, 스트리밍 방식의 제약 및 비용 문제
쿼리 결과 분석
다양한 내보내기 및 탐색 기능 제공
뷰 테이블 생성 후 Data Studio 대시보드에 연결
결론
빈번한 쿼리 및 실시간 대응이 필요한 경우 elasticsearch + Kibana, 배치 처리 및 요청 빈도가 낮은 경우 BigQuery + Data Studio가 적합
완전관리형 서비스인 BigQuery는 설치 및 운영 부담이 적고 다양한 방식으로 결과 추출 및 공유가 용이
추가 정보
BigQuery 공식 문서: https://cloud.google.com/bigquery
Data Studio 공식 문서: https://datastudio.google.com/u/0/?requirelogin=1
향후계획
- to do list정리
- 대시보드 과금문제
- GTMa/b테스트 가능한지
