저번에 Meta에서 발표했던 Base Llama3 모델을 사용해서 로컬 서버를 구축했었습니다.

해당 모델은 한국어에 튜닝되어있지 않다보니 사용하기에 약간의 불편함이 있었습니다.

다행히도 여러 능력자분들께서 빠르게 한국어 Fine Tuning 모델을 만들어서 공유해주셨는데요.

이번 포스팅에서는 HuggingFace에 공유된 한국어 Fine Tuning된 Llama3 모델을 Ollama로 실행했던 내용을 공유해 보겠습니다.

오늘 포스팅도 테디노트님의 유튜브를 많이 참고했습니다. 

해당 영상은 꼭 보시는 걸 추천드립니다. 

🍀 HuggingFace에서 한국어 모델 다운 받기 

---

HuggingFace는 각종 trained 모델을 공유하는 일종의 모델 허브입니다. 

오늘 사용할 한국어 Tuned Llama3도 여기에 공유되어 있습니다. 

이 링크로 들어가시면 야놀자에서 배포한 한국어 Llama3 모델을 다운로드 받을 수 있습니다.

'Files'에서 GGUF 파일을 다운로드 받으시면 됩니다.

• GGUF: 딥러닝 모델을 저장하는 파일 포맷
  GGUF 포맷은 고용량의 모델 저장에 효율적이라 LLM 모델 저장에 주로 사용되고 있습니다.

위의 모델들 중 GGUF 파일 아무거나 하나를 다운로드 받으시면 됩니다.

저는 ggml-model-Q5_K_M.gguf 파일을 사용했습니다. 

다운로드 받은 다음에 작업을 수행할 working directory로 이동시켜주세요. 

🍀 Modelfile 만들기

---

이제 허깅페이스에서 다운로드 받은 모델을 Ollama에서 실행할 수 있도록 바꿔줘야합니다. 

이를 위해서 필요한게 Modelfile입니다. 

Modelfile은 gguf 파일과 동일한 위치에 생성해주시면 됩니다. 

제가 사용했던 Modelfile도 같이 올려두겠습니다. 

FROM ggml-model-Q5_K_M.gguf

TEMPLATE """{{- if .System }}
<s>{{ .System }}</s>
{{- end }}
<s>Human:
{{ .Prompt }}</s>
<s>Assistant:
"""

SYSTEM """A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions."""

PARAMETER temperature 0
PARAMETER stop <s>
PARAMETER stop </s>

오늘 포스팅에 사용하는 ggml-model-Q5_K_M.gguf은 해당 Modelfile로 동작되니, 그대로 복사하셔서 사용하시면 됩니다. 

다른 모델을 사용하고자 한다면 Modelfile도 변경해주셔야하는데요. 

작성 방법은 Ollama GitHub에 상세히 적혀있으니 직접 보시고 작성하시면 될 것 같습니다. 

🍀 Ollama용 모델로 변환

---

이제 모델 파일을 이용해서 GGUF 파일을 Ollama용 모델로 변환합니다. 

GGUF 파일과 Modelfile이 위치한 폴더로 이동 후 아래의 커맨드를 입력하면 모델 파일로 변환됩니다. 

ollama create <YOUR_MODEL_NAME> -f Modelfile

# 예시 
ollama create ollama_model -f Modelfile

# 생성된 모델 확인 
ollama list

🍀 생성된 모델 실행하기 

---

이제는 생성된 모델을 실행해주기만 하면 됩니다. 

ollama run <YOUR_MODEL_NAME>

# 예시
ollama run ollama_model

🍀 마치며

---

이렇게 총 두 편에 걸쳐 Ollama를 이용해 로컬 서버를 구축하는 방법에 대해 설명드렸습니다.

아마 프로그래밍을 완전 모르는 초보자분들은 조금 어려울 수도 있을 것 같습니다.

그런 분들은 LM Studio라는 GUI 기반 툴이 있으니 해당 애플리케이션을 이용해서 서버를 구축해보시면 좋을 것 같습니다.

이에 관한 내용은 역시 테디노트 유튜브 채널에서 확인해보시면 좋을 것 같네요.