Ollama

Ollama 개요

• Ollama는 Python에서 사용할 수 있는 라이브러리 중 하나임.
• 무료-오픈소스 LLM 을 기반으로 한 NLP 서비스를 로컬 PC 에서 제공할 수 있음.
• vs code 에서 사용 시 우선 Ollama 를 설치해 로컬 서버를 가동한 후 pip install 할 수 있음.

Ollama 로컬 서버 가동

• 먼저 Ollama 웹페이지 [링크] 에서 Ollama 를 설치해야함.

• Ollama 를 실행 후 다음 명령어를 통해 서버 오픈.

  ollama run llama3.1
  

• 입력 시 llama3.1 모델을 로컬 서버에서 실행하며, 이후 Python 코드에서 Ollama 라이브러리를 통해 이 모델과 접근 가능.

VSCode 에서 사용

설치

• 다음 명령어를 vscode 의 터미널에 입력해 설치 진행.

  pip install ollama
  

Ollama 사용법

• 필요한 메소드로 모델을 시행

  import ollama
  
  def analyze_request(question):
      prompt = f"다음 요청을 분석하고, 해당 작업이 데이터 필터링인지, 아니면 요약, 주제 유추와 같은 작업인지 판단하십시오. 요청: {question}"
      response = ollama.chat(
          model='llama3.1',
          messages=[{'role': 'user', 'content': prompt}]
      )
      return response['message']['content']
  

• 위는 prompt 를 통해 content 를 question 이 어떤 종류의 질문인지 모델이 판단할 수 있게 구체화한 Python 예제임.

• 뿐만 아니라 Ollama 는 다양한 메서드, Restful API 를 지원하고 있음.