오늘은 mlflow를 구글 클라우드 플랫폼을 사용해서 셋업하는 과정을 진행해보겠습니다.
먼저 아래의 글을 참조하였습니다.
google cli 설치
제 컴퓨터가 맥북이어서 맥북으로 진행하였습니다.
아래 구글 문서에 설치법이 잘 정리되어있습니다.
구글cloud cli install
주의사항
- 서비스 어카운트 키페어 다운받고, local 에 저장후 service account activation 하는 커맨드를 칠때, 문서상 에러가 있습니다.
- 아래의 형식으로 커맨드를 맞춰주으니 정상적으로 설정되었습니다.
gcloud auth activate-service-account [내 서비스 어카운트 이메일] --key-file=/path/to/my/local/key-file-path/filename.json - 자세한 사항은 아래의 구글문서를 참고하세요
google auth activate-service-account
SQL Database 셋업
- 두번째로는 튜토리얼에서 시키는대로 GCP에서 db를 생성해 줍니다.
- 여기에 메타데이터, 매개변수, 평가지표 등등의 내용이 저장됩니다.
- 저는 가격이 저렴하게 postgres 12, 2기가 vCPU, 8GB 메모리, 10GB SSD로 구성했습니다.(공부하는 우리에겐 가장 저렴한게 좋겠죠?)
- 그래서 시간당 $0.18, 하루에 $4.40 이 나오네요. (비싸죠)
추가적으로, ssl, user 생성도 맨처음 문서에서 하라는대로 합니다.
SSL 연결
페이지를 따라가다보면 create client certificate 페이지에 가서 하나 생성해주면 아래의 3개 파일을 다운받을 수 있습니다.
이걸 프로젝트 디렉토리 어딘가에 잘 보관해줍니다.
cloud storage bucket 생성
- mlflow artifact를 저장할 버킷을 생성해줘야합니다.
- 지역만 서울로 바꿔주고, 나머지는 다 기본설정으로 하였습니다.
secret manager
-
mlflow authentication을 다루기 위해서라고 하는데, 일단 따라 해보았습니다.
-
환경변수 세팅을 이런식으로 secret_name=secret_value 하라는것 같네요.
(이 글 출처는 아래 링크로 넣어 놓겠습니다.) -
어쨋든 아래와 같이 생성해주었습니다.
container registry
- mlflow 앱을 컨테이너 환경으로 구성하여 이미지로 만든 후 레지스트리에 올려야 하는 과정입니다.
- 그럴려면 도커가 깔려있어야 됩니다. 각 os에 맞는 방식으로 도커를 설치해주세요. 저는 도커 데스크탑이 이미 맥북에 깔려 있어서 설치는 스킵했습니다.
- 그런데 문제가 생겼습니다.
포스트를 마치며
- 제가 참조했던 페이지의 문제는 이미 mlflow 앱이 로컬에 도커환경으로 준비가 되어있어야 한다는 선행조건이 있었습니다.
- mlflow 앱을 빌드 해서 도커 이미지로 만든 다음에, GCP에 이미지를 푸쉬하여 진행하는 것으로 보입니다.
다음 포스트에서는 mlflow 앱을 docker로 구성해보도록 하겠습니다.
부족한 글 읽어주셔서 감사합니다.
