n8n ollama 연동

Ollama은 로컬 컴퓨터에서 실행할 수 있는 가벼운 확장 가능한 프레임워크암. Ollama는 Llama 3, Mistral, Gemma 등 다양한 모델을 지원하며 CLI, REST API, 웹 및 데스크톱 통합을 제공함.

• ollama mac download
  브라우저에서 https://ollama.com/download/mac 접속

• 한국어-영어 이중 언어모델인 Bllossom 다운로드
  https://huggingface.co/MLP-KTLim/llama-3-Korean-Bllossom-8B-gguf-Q4_K_M/tree/main 에서ㅕ텍스트 llama-3-Korean-Bllossom-8B-Q4_K_M.gguf 다운로드

$ vi Modelfile
FROM llama-3-Korean-Bllossom-8B-Q4_K_M.gguf
  
TEMPLATE """{{- if .System }}
<s>{{ .System }}</s>
{{- end }}
<s>Human:
{{ .Prompt }}</s>
<s>Assistant:
"""

SYSTEM """A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions."""

PARAMETER stop <s>
PARAMETER stop </s>

$ ollama create llama3-korean -f Modelfile
$ ollama list
NAME                    ID              SIZE      MODIFIED
llama3-korean:latest    fbeb4319a4a7    4.9 GB    6 hours ago
llama3:latest           365c0bd3c000    4.7 GB    9 hours ago

$ ollama run llama3-korean

• n8n 연동 확인
  - Credential 설정 시 ollaman 접속이 안되어 연동 url을 http://localhost:11434에서 http://127.0.0.1:11434 로 변경함.