gguf 파일 ollama에 생성하기

1. gguf를 위한 Modelfile 만들기

• gguf가 저장된 위치에 "Modelfile" 생성 (확장자 X)

 FROM Model_name.gguf

 TEMPLATE """{{- if .System }}
 <s>{{ .System }}</s>
 {{- end }}
 <s>Human:
 {{ .Prompt }}</s>
<s>Assistant:
 """

 SYSTEM """A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions."""
 
 PARAMETER stop <s>
 PARAMETER stop </s>

• 위 내용의 템플릿 붙여넣기
  이때 FROM 뒤에는 내가 다운받은 gguf 파일의 이름이 들어가야 함

2. powershell 열기

• ollama serve : ollama 실행하기
• ollama list : ollama에 생성된 모델 리스트
• ollama pull Model_name : ollama에서 사용 가능한 모델 이름 입력 시 자동으로 설치됨
• ollama create 원하는 이름 -f Modelfile : 내가 올라마에 생성하고자 하는 모델 생성 (Modelfile 기반)
  이때 실행하는 코드의 위치와 Modelfile이 저장된 위치가 동일해야 함
  만약 다르다면 cd Directory/Models 와 같이 Modelfile이 저장된 위치로 이동해야 함

내가 만든 gguf가 Modelfile 기반 ollama에 생성된 걸 확인할 수 있음!

3. 추가

• 생성된 모델을 실행하고 싶다면 ollama run NAME