Ollama(결국 LM 스튜디오로..), 파이썬 설치

Ollama? 🐑🐏🦙

LLM을 로컬 환경에서 실행할 수 있는 프레임 워크

Ollama 설치

1. https://ollama.com/
   여기 들어가서 각자 OS 기준에 맞게 설치파일 다운로드

2. (Windows 기준) Ollama 0.9.3 버젼 설치
   
   

3. Win+R로 cmd 실행
   

ollama list

올라마가 설치된 후, 위 코맨드를 치면 아무것도 안나옴.
아직 로컬에 ollama 환경으로 설치된 LLM이 없어서임

4. Ollama 모델들 https://ollama.com/search
   

ollama run llama3.1

llama3.1이라는 모델을 실행시켜본다.

설치한 적이 없어서 새로 다운 받는 중.

Error: llama runner process has terminated: exit status 2
llama3.1, llama2, llama3:8b 모델 모두 이런 오류가 났음
(RAM 32기가인데 why...)

---

결국 삭제->재설치(winget uninstall Ollama) 했음에도 안됨

=> 회사 컴퓨터라서 그런지 보안 정책에서 runner.exe가 삭제된 것 같다.

결국 LM 스튜디오로 대체하기로 한다.

---

LM 스튜디오

Local Model Studio. 로컬에서 LLM(대형 언어 모델)을 실행하고 대화할 수 있는 무료 앱

LM 스튜디오 설치

1. 공식 사이트에서 다운로드: https://lmstudio.ai
   
2. LM 스튜디오 실행
   
3. gemma-3-12b 모델 다운로드
   
   
4. start new chat -> Load Model
   
   
   
   채팅 쉽다..!
   
   

---

파이썬 설치 및 LM 스튜디오 연동

1. 공식 사이트에서 다운로드: https://www.python.org/downloads/windows/
   본인 OS에 맞춰서 다운로드
   
   설치 시에 Add python.exe to PATH 체크(안했으면 수동으로 환경 변수 등록해줘야함)
   

2. 설치 후 cmd창에서 아래 명령어 확인

python --version
pip --version

잘 설치되었음.

3. 작업용 폴더 만들고, 가상환경 활성화

mkdir ai-chatbot
cd ai-chatbot

python -m venv venv
venv\Scripts\activate

이때 실행이 안되면 환경 변수 들어가서 C:\Users...\Microsoft\WindowsApps 보다 python을 위로 올리면 됨

실행되면 앞에 (venv)가 뜬다.

4. LM 스튜디오 연동을 위해 아래 라이브러리들 설치

pip install openai fastapi uvicorn

5. main.py 파일 만들기

# main.py
from fastapi import FastAPI
from pydantic import BaseModel
import openai

# LM Studio OpenAI 호환 API 서버 설정
openai.api_key = "lm-studio"  # 아무 값이나 가능
openai.api_base = "http://localhost:1234/v1"

app = FastAPI()

class ChatRequest(BaseModel):
    message: str

@app.post("/chat")
def chat(req: ChatRequest):
    response = openai.ChatCompletion.create(
        model="google/gemma-3-12b",  # 여기만 변경됨!
        messages=[
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": req.message}
        ]
    )
    return {"response": response.choices[0].message.content}

6. 서버 실행

uvicorn main:app --reload

7. 여기서 스웨거로 로컬 API호출 가능 http://localhost:8000/docs
   

8. 근데 호출하는데 자꾸 오류가 남.
   해결책: openai 버젼을 LM 스튜디오에 맞춰서 버젼 다운그레이드

pip uninstall openai
pip install openai==0.28

9. 그런 다음 다시 서버 실행 후 스웨거에서 호출. message에 넣어서 호출.
   

끝!!

---

여담

main.py에서 role을 변경해보았다.

사투리로 대답해달라고 했다.

갑자기 친근해진 gemma3...

여담2

난 분명히 말해줬다.

갑자기 튀어나온 냥집사 뭔데...ㅋㅋㅋㅋ
몇번을 알려줘도 계속 냥집사래...
학습 능력 없는 LM 스튜디오 ㅠ