HuggingFace에 Fine-tuning한 모델 올리기

소원·2024년 10월 7일

2024

목록 보기
9/10
post-thumbnail

0. New Model 생성

HuggingFace로그인 뒤 프로필을 누르면 New Model이 있습니다?
누르시면 이런 페이지가 나와요.

그렇다면 멋진 이름과 License를 넣어주세요.
전 Llama3 기반이기 때문에 이걸로 넣어줬습니다.
여기서 owner/modelName은 추후 upload할때 url의 형태로 필요합니다.

1. 나의 프로젝트 terminal 열기

저는 가상환경에서 프로젝트를 실행해서 activate해줬습니다.

2. huggingface_hub 설치

pip install huggingface_hub

3. huggingface-cli 접속하기

huggingface-cli login

저처럼 이런 화면이 뜨면 token을 넣어줍니다.

Q. Token 어딨나요?
huggingface 로그인해서 Settings 찾아갑니다.

Access Tokens 와서 만드세요.
Value값이 Token인데, 만들자마자 딱 한번만 보여주니까 소중하게 간직하셔야합니다.
전 Langchain쓸때 불러오느라 예전 token있으니 그거로 로그인 할게요.

놀라운 소식!!!
Token Copy해서 복붙하려고 하니까 로그인 안되던거있죠?
PowerShell에서 복붙하려면 Ctrl + V 가 아니라 Shift + Insert누르랍니다 흑흑 난 바보야

3. huggingface-cli 로그인 확인

huggingface-cli whoami

아래 사진처럼 본인 아이디로 로그인이 된 걸 볼 수 있어요.

3. upload할 파일 생성해주기

DockerFile같은 느낌인 것 같아요...
upload_model.py로 프로젝트 안에다 만들어줬습니다.

from huggingface_hub import HfApi

api = HfApi()

repo_id = "owner/modelName" 


local_model_dir = "F:/AI/llm/model_directory"

# 폴더 전체를 Hugging Face 저장소에 업로드
api.upload_folder(
    folder_path=local_model_dir,
    repo_id=repo_id,
    repo_type="model",  # 모델 저장소에 업로드
    path_in_repo="",  # 저장소 내 경로
    commit_message="Upload model"  # 커밋 메시지 맘대로 적기
)

로컬에 저장된 모델 파일 경로를 작성해줬습니다.
그 폴더 내에 있는거 다 업로드 할 예정이기 때문입니다.ㅋ

owner/modelName은 0번에서 생성한 이름으로 넣어주시면 됩니다.

3. upload_model.py 실행하기

python upload_model.py

가상환경 키고(없으면 그냥) 로그인하고 (되어있으면 패스)
치면 다음과 같이 나온답니다? 좀 느린데 5-6분 만에 저는 됐습니다.굿.

아래처럼 바뀌고 나면 본인 모델로 가보세요.

이렇게 확인 가능합니다.

0개의 댓글