파이썬을 활용한 빅쿼리 사용 1

파이썬을 활용하여 빅쿼리 사용하기

---

GCP 설정 부분

https://cloud.google.com/bigquery/docs/authentication/service-account-file?hl=ko

• GCP 링크
• GCP 서비스 계정 인증 공식 문서
• 빅쿼리 활성화 하기
  • Bigquery 라이브러리를 사용하도록 API를 활성화
  • 좌측 네비게이션 -> API 및 서비스 -> 라이브러리 선택
  • bigquery 검색

• 사용자 인증 정보 만들기

1. 서비스 계정 만들기

• 좌측 네비게이션 -> 서비스 계정
  

2. 서비스 계정 입력 후 완료
   

3. 만든 계정을 누르고 키에 들어가서 json 파일 생성
   

4. 서비스계정에 권한 추가

• GCP 좌측 -> ‘IAM’ -> 엑세스 권한 부여 -> API KEY의 client_email 입력 -> 역할(BigQuery 관리자) 선택후 저장

• 새 주 구성원은 저장한 json 키 내부에서 client_email 입력
  

---

파이썬 설정 부분

• 빅쿼리를 사용하기 위한 라이브러리 설치

pip install --upgrade google-cloud-bigquery

• 파이썬과 빅쿼리 연동
  • SERVICE_ACCOUNT_FILE : 위에서 발급받은 키를 저장한 경로
  • project_id : 프로젝트 생성시 만들어진 project id

• project id 확인 방법
  

• 빅쿼리 연동 및 확인 코드

  • 테스트 데이터는 구글에서 제공하는 무료 데이터셋
  • 아래와 같이 코드가 잘 나왔다면, 연동 완료

from google.oauth2 import service_account
from google.cloud import bigquery

SERVICE_ACCOUNT_FILE = "./api_key.json"  # 키 json 파일
credentials = service_account.Credentials.from_service_account_file(SERVICE_ACCOUNT_FILE)
project_id = "bigquery-test-408414" # 각자 프로젝트에 맞게 수정
client = bigquery.Client(credentials=credentials, project=project_id)

def import_bigquery_data(query):
    query_job = client.query(query)
    return query_job.to_dataframe()
    
data = import_bigquery_data('''
    SELECT * 
    FROM `bigquery-public-data.google_trends.international_top_rising_terms` 
    WHERE refresh_date = '2024-08-01'
    LIMIT 10
    ;
''')

data.head()