huggingface

hfdownloader

# Deepnoid/deep-solar-v3.0를 다운 로드할 경우
bash <(curl -sSL https://g.bodaay.io/hfd) -m Deepnoid/deep-solar-v3.0

# 다운로드 후 해당폴더로 이동후 downloads/Deepnoid_deep-solar-v3.0	
docker run --rm -v .:/model ollama/quantize -q q4_0 /model

modelfile수정

base model을 찾음 
if mistral이면
ollama > model > mistral > prompt를클릭후
[INST] {{ .System }} {{ .Prompt }} [/INST] 를 modelfile에 복붙

## modelfile
FROM ./q4_0.bin
TEMPLATE [INST] {{ .System }} {{ .Prompt }} [/INST]

참고비디오

ollama create

ollama create [filename] 

huggingface download folder변경

기본값은 ~/.cache/huggingface 밑의 hub, datasets, module

import os
os.environ['HF_HOME'] = '/home/yknam/hdd/hf_models'  
from huggingface_hub import snapshot_download
snapshot_download(repo_id=original_model_dir)