Huggingface model을 ollama로 import

나이트 개발자·2024년 9월 25일

get gguf file
sudo apt install git-lfs
git lfs install
git clone https://huggingface.co/aaditya/OpenBioLLM-Llama3-8B-GGUF

FROM ./OpenBioLLM-Llama3-8B-GGUF/openbiollm-llama3-8b.Q8_0.gguf

ollama create bio-llm -f Modelfile

개발하면서 또는 프러덕 관리하면서 겪는 기억해둬야하는 내용을 메모장 삼아 남긴다. Google Keep이나 메모 도구에 남기는 것과는 달리 잘 정리할 수 있어서 언젠가 들춰봐야할 내용들을 담은 글들이 게시된다.