[huggingface] 허깅페이스에 모델 업로드하기

코드에 깃허브가 있다면 모델엔 허깅페이스가 있다.

허깅페이스에 모델을 업로드해두면 공유하기도 쉽고, 저장해두기도 쉽다.
그러한 의미에서 허깅페이스에 모델을 업로드하는 법을 공유하려고 한다.

Requirements

먼저 허깅페이스에서 회원가입을 한 후, 토큰을 받아야 한다.
로그인 한 후에 https://huggingface.co/settings/tokens 로 접속하면
토큰을 발급 받을 수 있다.
먼저 아래 라이브러리들을 설치해주자.

pip install transformers
brew install git-lfs

cli 로그인

huggingface-cli login

위 명령어를 입력하면 토큰을 입력하는 창이 나오는데, 토큰을 입력해주면 로그인이 된다.

git lfs install

위 명령어로 lfs 또한 설치해주자.

모델 준비

Bert_model
┣ config.json
┣ pytorch_model.bin
┗ vocab.txt

위처럼 push할 모델 파일도 준비해주자.
이러면 요구 사항은 끝난다.

Hugging hub 저장소 생성

깃허브처럼 허깅페이스도 저장소를 생성하고 push하는 식으로 작동한다.

huggingface-cli repo create {프로젝트명}

위처럼 저장소를 생성해주자.

저장소 Clone

허깅페이스에 들어가보면 저장소가 생성이 된 걸 볼 수 있는데,
저 점 버튼을 클릭해보면

저장소를 clone할 수 있는 것을 확인할 수 있다.

git lfs install 은 한 번만 실행하면 되기 때문에 git clone 부분만 복사해서 터미널에서 실행하면 저장소를 clone 해올 수 있다.

Model push

아까 준비해둔 파일들을 clone한 폴더로 옮겨주자.

git status로 확인해보면 파일들이 잘 옮겨진 것을 확인할 수 있고,

git add --all

을 실행하면

다음과 같이 파일들이 잘 추가된 것을 볼 수 있다.

git commit -m "{커밋 메시지}"

로 커밋해준 후,

git push

푸시해주자.

큰 파일을 업로드하다보니 시간이 조금 걸리는데, 조금만 기다리자.

다시 허깅페이스를 들어가보면 모델이 잘 업로드된 것을 확인할 수 있다.

모델을 불러와서 사용하고 싶다면

from transformers import AutoModel
model = Automodel.from_pretrained("JLake310/klue-bert-base-re")

처럼 허깅페이스 모델을 사용하는 것처럼 사용하면 된다!

딥러닝 모델로 협업 작업을 진행하거나 할 때 매우 유용하게 쓰일 수 있을 것 같다.