DVC PUSH 인증 에러 - GCP

DVC

• DVC란, Data Version Control 로 데이터 버전 관리를 위한 툴.

장점
1. 대부분의 스토리지와 호환
2. github, gitlab 등 대부분의 git 호스팅 서버와 연동 가능
3. data pipeline을 DAG로 관리 가능
4. git과 유사한 인터페이스로 git에 능숙하다면 편하게 사용 가능

DVC 설치

• python 설치
• git 설치
  sudo apit install git
• dvc 설치

pip install dvc
dvc --version

DVC Setting

# 새로운 디렉토리 생성
mkdir dvc-tutorial
cd dvc-tutorial

# git 저장소 초기화 
git init

# dvc 저장소로 초기화 
dvc init

DVC와 Google drive 연동

• 데이터 생성

mkdir data
cd data

# data 생성
vi demo.txt

# tracking
cd ..
dvc add data/demo.txt

# To track the changes with git, run:
git add data/demo.txt.dvc data/.gitignore

# data 폴더엔 .dvc가 생성되며 , git은 이를 트레킹함. 
git add data/demo.txt.dvc data/.gitignore

• gdrive생성
  - 네모 박스가 ID 가 됨.
  

• 연동

dvc remote add -d storage gdrive://<GOOGLE_DRIVE_FOLDER_ID>

git add .dvc/config
git commit -m "add remote storage"

dvc push
# 링크가 뜨게 됨. 

트러블 슈팅

• push를 했을 때 인증이 되지 않음.

1) GCP -> API 및 서비스 -> 라이브러리

2) Google Drive API 다운

3) API 및 서비스 -> 사용자 인증 정보 -> 사용자 인증 정보 만들기 -> 서비스 계정

4) 값 채워주기

• 이름 -> 이메일 주소 복붙 해놓기.
• 권한 : 소유자 or 편집자

5) 해당 서비스 id로 들어가면 key 를 설정하는 것이 있음.

• 키 추가
• 새키 만들기 -> json
• json이 다운받아지면 이를 서버에 넣어주기

vi dvc.json

# 값은 복붙해서 넣어주기
# 폴더는 꼭 dvc init 해준 해당 폴더 안에 넣어주기 

6) goolge drive에 사용자 추가해주기

• 사용자 공유에서 위 이메일 주소를 넣어서 편집자로 추가해주기

7) dvc 설정해주기

dvc remote modify storage gdrive_use_service_account true
dvc remote modify storage --local gdrive_service_account_user_email <위 설정한 email>
dvc remote modify storage --local gdrive_service_account_json_file_path ./dvc.json

dvc push