1. 작성의 목적

그동안 업무를 진행하면서 ChatGPT 없이는 살 수 없는 몸이 되어버렸는데
최악의 상황이 발생해 버렸다.

온라인 ChatGPT 서비스가 접속이 안되는 현 상황에 대한 대처를 위해

온 디바이스 LLM 서비스를 구축하고자 한다.

2. 라마3 로컬 PC 설치하기

https://ollama.com/download

Lamma3을 설치하기 전에 먼저 ollama라는 설치 관리 툴을 설치해야 하는 것으로 보인다.

먼저 예의바르게 가입먼저 진행하자

가입 후 설치파일 다운받고 설치를 시작하면

이렇게 바로 PowerShell 창이 열리면서 llama3.2를 사용하고 싶으면 ollama run llama3.2라는 메세지가 포함된 창이 팝업된다.

우선 기본모델이 설치가 된 듯 하니 실행시켜보자

가장 기본모델이 2GB정도 하는듯 하다

일단 기본모델의 실행은 가능한것으로 확인했다.
이제 다음단계로 넘어가보자