Huggingface model을 ollama로 import

0
  1. get gguf file
    sudo apt install git-lfs
    git lfs install
    git clone https://huggingface.co/aaditya/OpenBioLLM-Llama3-8B-GGUF
  1. define model file
FROM ./OpenBioLLM-Llama3-8B-GGUF/openbiollm-llama3-8b.Q8_0.gguf
  1. Import it.
ollama create bio-llm -f Modelfile
profile
개발하면서 또는 프러덕 관리하면서 겪는 기억해둬야하는 내용을 메모장 삼아 남긴다. Google Keep이나 메모 도구에 남기는 것과는 달리 잘 정리할 수 있어서 언젠가 들춰봐야할 내용들을 담은 글들이 게시된다.

0개의 댓글