올해 4월부터 서울여자대학교 정보보호영재교육원에 다니며 새로운 프로젝트를 시작하게 되었다.

프로젝트를 간단히 요약하면 라즈베리파이에 LLM을 연동하여 IoT 장비의 취약점을 분석하는 퍼저를 개발하는 것이다.

다만 라즈베리파이는 연산 자원에 한계가 있기 때문에, LLM을 라즈베리파이에서 직접 실행하기는 어렵다. 따라서 이번 프로젝트에서는 호스트 PC에서 Ollama를 이용해 Gemma4 모델을 실행하고, 라즈베리파이는 해당 LLM 서버에 API 요청을 보내는 구조로 구현할 예정이다.

이번 글에서는 Windows11 환경에서 Ollama를 설치하고 Gemma4를 실행한 뒤, 라즈베리파이에서 원격으로 LLM API를 호출할 수 있도록 설정하는 과정을 정리해보려고 한다.

원래는 Ubuntu24.04 VM에서 하려고 했는데 VMware가 GPU를 인식 못해서 어쩔 수 없이 Windows 환경에서 하게 되었다.

---

Ollama

Llama 3, Mistral, Gemma 같은 오픈소스 대규모 언어 모델(LLM)을 개인용 컴퓨터(로컬 환경)에서 복잡한 설정 없이 간편하게 다운로드하고 실행할 수 있게 해주는 오픈소스 도구

Gemma4

구글 딥마인드가 2026년 4월 2일에 공개한 최신 오픈 모델
아파치 2.0(Apache 2.0) 라이선스를 적용받아, 개인적인 연구뿐만 아니라 상업적 목적의 서비스 개발에도 무료로 사용할 수 있다.

---

Windows11에 Ollama 설치

irm https://ollama.com/install.ps1 | iex

Ollama가 정상적으로 깔렸다.

---

Gemma4 모델 설치

이번 프로젝트에서는 Gemma4를 사용한다.
Ollama 라이브러리 기준으로 gemma4:e2b, gemma4:e4b, gemma4:26b, gemma4:31b 등의 태그가 있다. gemma4:e2b는 약 7.2GB, gemma4:e4b는 약 9.6GB 크기다.
이번 프로젝트에는 gemma4:e4b를 사용하였다.

ollama pull gemma4:e4b

실행하게 되면 잘 작동하는 것을 볼 수 있다.

---

환경 변수 설정

기본 상태의 Ollama는 Windows PC 내부에서만 접근 가능하기 때문에 라즈베리파이가 접근하려면 OLLAMA_HOST 환경 변수를 설정해야 한다.

Ollama 공식 FAQ 기준으로 Windows에서는 Ollama를 종료한 뒤, 사용자 또는 시스템 환경 변수에 OLLAMA_HOST를 추가하고 다시 실행하면 된다.

안되면 powershell에서 강제 등록

[Environment]::SetEnvironmentVariable("OLLAMA_HOST", "0.0.0.0:11434", "User")

---

Windows 방화벽 열기

라즈베리파이가 Windows PC의 Ollama API에 접근하려면 방화벽에서 11434 포트를 허용해야 한다.

netsh advfirewall firewall add rule name="Ollama from RaspberryPi" dir=in action=allow protocol=TCP localport=11434 remoteip=<RaspberryPi_IP>

---

Raspberry Pi에서 호출 확인

curl http://HOST_PC_IP:11434/api/tags

이렇게 잘 받아오는 것을 확인할 수 있다.

답변도 잘 해준다

---