llama.cpp 환경 구축

llama.cpp 환경 구축 (우분투 환경 기준) [langchain 사용X]

<터미널>
1. git clone https://github.com/ggerganov/llama.cpp.git
2. cd llama.cpp
3. convert 된 모델을 이용하기 위한 packege llama-cpp-python을 설치.

3-1. cuda(nvidia GPU)가 설치된 환경인 경우

CMAKE_ARGS=-DLLAMA_CUBLAS=on FORCE_CMAKE=1 pip install llama-cpp-python --force-reinstall --upgrade --no-cache-dir
 

3-2. M1 mac 에서 MPS를 사용할 경우

CMAKE_ARGS=-DLLAMA_METAL=on FORCE_CMAKE=1 pip install llama-cpp-python --force-reinstall --upgrade --no-cache-dir
 

3-3. CPU만 사용할 경우

FORCE_CMAKE=1 pip install llama-cpp-python --force-reinstall --upgrade --no-cache-dir