24.03.21 TIL

예진·2024년 3월 21일
0

TIL

목록 보기
54/68

실전 프로젝트 포트폴리오 만들기 (3)


MacOS에서 Big Query 연동하기

파이프라인 아키텍쳐를 그리겠다 마음먹고 나니... 빅쿼리 연동을 안해볼 수가 없는 것..

덮어뒀던 에러창을 다시 꺼냈다.
yfinance에서 모델 학습도 원하는 데이터 추출도 잘 되었는데, 빅쿼리 연결이 다시 안된다.
이런 식으로 Default Credential Error 가 뜬다면 제대로 된 인증정보를 찾지 못했다는 뜻.

이럴 경우 확인해야 할 두 가지
1. 터미널에서 gcloud auth application-default login 실행 (정상 로그인 되었는지 체크)
2. google cloud SDK의 환경변수 설정 (이미 되었다면 더블체크)

두 가지 다 정상적으로 확인이 된다면,

!pip install pandas_gbq
!pip install google.cloud

해당 코드가 실행되어있는지 확인해보자.

google big query 모듈 설치해서 작동이 되는지 확인하고, 그럼에도 불구하고 실행이 안된다면 google.cloud 모듈을 재설치.
앞에서 설치를 했지만, 터미널에서 SDK를 덮어씌우는 과정에서 모듈이 없어지는? 것 같기도 하다.

코드 한줄로 멀쩡히 실행되는 모습,,,,

Big Query Studio에서 데이터셋과 테이블이 생성된 것을 확인할 수 있다.
해결사 투터님의 그늘을 벗어날 날이 오긴 올가..?


파이프라인 아키텍쳐로 그려보기

파이프라인 초안... 이게 맞나? ㅋ ㅋ ㅋ ㅋ

아이콘 뭘 넣어야될지 모르겠다.
내맘대로 넣으면 안될 것 같아서 규칙을 찾아봐야,, 할듯,,쏘 귀찮,,,


https://velog.io/@ginee_park/%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%8C%8C%EC%9D%B4%ED%94%84%EB%9D%BC%EC%9D%B8-%EA%B5%AC%EC%B6%95-%EC%9D%B4%EB%A1%A0
데이터 파이프라인 이론

https://mingrammer.com/translation-10-common-software-architectural-patterns-in-a-nutshell/
10가지 소프트웨어 아키텍처 패턴 요약

profile
Data Analysis / 맨 땅에 헤딩

0개의 댓글