LLM Day 10 - Ollama

📌 Ollama란?
Ollama는 로컬에서 LLM(대형 언어 모델)을 실행할 수 있도록 도와주는 AI 도구
쉽게 말해서, 인터넷 없이 내 컴퓨터에서 ChatGPT 같은 AI 모델을 실행할 수 있게 해주는 프로그램

🔍 Ollama의 핵심 기능
✅ 로컬에서 LLM 실행 → 인터넷 없이 AI 모델을 사용할 수 있어
✅ 빠른 실행 → 클라우드 API보다 빠르게 응답 가능
✅ 다양한 모델 지원 → Llama 3, Mistral, Gemma, Qwen, Phi 등 다양한 모델 사용 가능
✅ 데이터 보안 강화 → 모든 데이터가 내 PC 안에서만 처리됨

💡 Ollama는 어떻게 동작할까?
1️⃣ AI 모델을 다운로드
Ollama는 여러 AI 모델을 지원
아래 명령어로 원하는 모델을 다운로드할 수 있음

ollama pull mistral

ollama pull qwen2.5:3b   # 알리바바의 Qwen 모델
ollama pull llama3        # Meta의 Llama 3 모델
ollama pull phi           # Microsoft의 작은 AI 모델

2️⃣ AI 모델 실행
모델을 다운로드한 후, 다음 명령어로 실행할 수 있음
이제 내 컴퓨터에서 LLM을 직접 실행하고
ChatGPT처럼 터미널에서 질문을 입력하면 AI가 답변

ollama run mistral

💻 Ollama + Python 활용하기

Ollama는 Python과도 쉽게 연동
아래와 같이 Python 코드에서 Ollama 모델을 불러와서 사용

✅ 1️⃣ Python에서 Ollama 실행
📌 설명

ollama.chat() → Ollama를 통해 AI 모델과 대화
"mistral" → mistral 모델을 사용
messages=[...] → 사용자 입력을 전달
response['message']['content'] → AI가 생성한 답변을 출력

import ollama

response = ollama.chat(model="mistral", messages=[
    {"role": "user", "content": "AI란 무엇인가요?"}
])

print(response['message']['content'])

🎯 Ollama를 왜 사용할까

🛠 Ollama를 활용하면 좋은 경우
인터넷 없이 로컬에서 AI 모델을 실행하고 싶을 때
OpenAI API 비용을 줄이고 싶을 때
데이터 보안이 중요한 기업/기관에서 AI를 사용할 때
빠른 응답 속도로 AI 모델을 활용하고 싶을 때

🚀 Ollama로 할 수 있는 것들
✅ ChatGPT처럼 AI 챗봇 만들기
✅ 텍스트 요약, 번역, 문서 생성
✅ 코드 분석 및 자동 생성
✅ 프롬프트 엔지니어링 실험
✅ 로컬에서 AI 모델을 커스터마이징하여 활용

📢 정리
✔ Ollama는 내 컴퓨터에서 AI 모델을 실행할 수 있게 도와주는 툴
✔ OpenAI API를 쓰지 않고 무료로 로컬에서 LLM을 사용할 수 있음
✔ 데이터가 내 PC에서만 처리되므로 보안이 뛰어남
✔ 응답 속도가 빠르고 비용이 들지 않음