파이썬을 활용한 빅쿼리 사용 2

빅쿼리 데이터셋트 만들기

• 파이썬으로도 간단하게 할 수 있지만, 빅쿼리 UI 활용
• 다양한 방법이 존재하지만, 업무를 하면서 많이 활용했던 방법으로 입력하였습니다. 참고 부탁드립니다.

1. 빅쿼리 콘솔 접속 -> 추가 -> Google Cloud Storage
   

2. 데이터 세트 클릭 -> 새 데이터세트 만들기
   

3. 데이터세트 ID 입력 -> 리전 설정 -> 데이터세트 만들기 -> 이후 테이블은 만들지 않고 취소
   

4. 위의 과정을 진행하였다면, 아래의 이미지와 같이 방금 생성한 데이터 세트를 확인 가능
   

빅쿼리 테이블 만들기

• 위에서 생성한 데이터 세트를 입력
• 이후 생성할 테이블 이름을 입력
• 아래의 예시에서는 test_table 라는 이름으로 테이블을 생성해주는 코드
• 위에서 테스트 데이터를 불러온 것을 새로운 데이터에 입력하기 위해 스키마 작성
• 구글 스마지 지정 참고 링크

table_id = project_id + ".test_dataset.test_table" 

schema = [
    bigquery.SchemaField('region_name', 'STRING', mode="REQUIRED"),
    bigquery.SchemaField('region_code', 'STRING', mode="NULLABLE"),
    bigquery.SchemaField('term', 'STRING', mode="NULLABLE"),
    bigquery.SchemaField('refresh_date', 'DATE', mode="NULLABLE"),
    bigquery.SchemaField('country_name', 'STRING', mode="NULLABLE"),
    bigquery.SchemaField('country_code', 'STRING', mode="NULLABLE"),
    bigquery.SchemaField('week', 'DATE', mode="NULLABLE"),
    bigquery.SchemaField('score', 'INTEGER', mode="NULLABLE"),
    bigquery.SchemaField('rank', 'INTEGER', mode="NULLABLE"),
    bigquery.SchemaField('percent_gain', 'INTEGER', mode="NULLABLE")
]

table = bigquery.Table(table_id, schema=schema)
table = client.create_table(table)

• 위의 코드가 에러없이 작동했을 경우, 빅쿼리에 접속하면 새로 생성된 테이블과 스키마 확인 가능
  

데이터 입력하기

• 위에서 활용한 data를 개인 데이터셋에 존재하는 테이블로 입력

table = client.get_table(table_id)
client.load_table_from_dataframe(data, table) # data 위에서 지정한 데이터 변수 입력

• 이와 같이 데이터 입력 완료
  

쿼리 활용하기

• 사람마다 활용하는 코드가 다르지만 대체적으로 SQL을 사용할 수 있다면 대부분의 코드를 파이썬에서 실행이 가능
• TRUNCATE, DROP TABLE 등 다양한 쿼리를 적용 가능

query = f'''
    빅쿼리에서 실행하려는 코드
'''

job = client.query(query) # API request