Python에서 Bigquery 연동하기

파이썬에서 빅쿼리를 실행시키기 위해서는 우선 링크에서 구글 인증키를 발급받아야 한다.

Python에서 쿼리문 실행하여 데이터 가져오기

import pandas_gbq
from google.oauth2 import service_account
## 서비스 계정 키 발급 필요
credentials = service_account.Credentials.from_service_account_file('key.json')
project_id = '프로젝트 명'
query=
"""
--- query작성
"""
 df = pandas_gbq.read_gbq(query, project_id=project_id, credentials=credentials)

데이터 프레임을 Bigquery에 업로드하기

import pandas_gbq
from google.oauth2 import service_account
credentials = service_account.Credentials.from_service_account_file('key.json')
project_id = '프로젝트 명'
pandas_gbq.to_gbq(df, '테이블 이름', project_id=project_id, credentials=credentials, if_exists='append',
                  table_schema = [{'name': 'date', 'type': 'DATE'}])

• 테이블 덮어쓰기 하는 경우, if_exists = ‘replace’
• 테이블에 추가하는 경우, if_exists=’append’
• string type의 날짜 컬럼을 업로드하는 경우 table_schema에서 타입을 DATE로 지정해줘야한다.