
팀에서 LLM을 프로덕션 서비스에 활용하고 있습니다. 응답 모델, 추론 모델 등 용도에 따라 여러 모델을 서빙하고 있고, 그 서빙 도구로 Ollama를 쓰고 있었습니다.
Ollama는 설치도 간단하고, ollama pull 한 줄이면 모델을 바로 쓸 수 있어서 초기 구축에는 정말 편했습니다. 혼자 테스트하거나 프로토타이핑할 때는 아무 문제가 없었습니다.
문제는 팀원 여러 명이 동시에 쓰기 시작하면서 드러났습니다.
3~4명이 동시에 요청을 보내니까 응답이 줄줄이 밀리기 시작했습니다. 누군가는 30초를 기다렸고, 누군가는 타임아웃을 받았습니다. 모델을 전환할 때마다 기존 모델을 내리고 새 모델을 올리는 cold-start가 걸리면서, 그 사이 수십 초가 날아가는 것도 반복됐습니다.
한 명이 쓸 때는 괜찮았는데, 여러 사람이 여러 모델을 동시에 쓰는 환경에서는 Ollama의 구조적인 한계가 있었습니다.
이 글은 그 한계를 벤치마크로 확인하고, vLLM으로 전환한 뒤, 멀티 모델 서빙 게이트웨이까지 구축해서 프로덕션에 배포한 과정을 다룹니다.
당시 서버 사양은 이랬습니다.
| 항목 | 사양 |
|---|---|
| GPU | 48GB급 GPU x 2 |
| GPU 연결 | NVLink |
| 모델 | 27B~32B급 오픈소스 모델 |
| 양자화 | Q4_K_M (GGUF) |
| 동시 서빙 모델 | 3개 |
GPU가 두 장이나 있고 NVLink까지 연결해뒀는데, 정작 Ollama는 이 하드웨어를 제대로 활용하지 못하고 있었습니다.
문제 상황에서 발생한 문제점들을 정리하면 다음과 같습니다.
Continuous batching이 없었습니다.
요청이 들어오면 하나씩 순차 처리하면서, GPU가 놀고 있는데 요청은 줄을 서고 있는 상황이 반복됐습니다.
Tensor Parallelism을 지원하지 않습니다.
NVLink로 연결한 두 GPU를 동시에 쓰려면 TP가 필요한데, Ollama는 레이어 분산 방식만 지원합니다. 비싼 NVLink가 사실상 의미가 없었습니다.
모델 전환 시 cold-start가 발생합니다.
다른 모델로 요청을 보내면 기존 모델을 내리고 새 모델을 올려야 합니다. 그 사이 수십 초가 소요되었습니다.
이러한 Ollama가 가진 문제를 인지하고, 저는 대안을 찾기 시작했습니다.
Ollama를 대체하기 위한 엔진을 찾기 위해 12개 추론 서버를 조사했습니다.
vLLM, SGLang, LMDeploy, TGI, llama.cpp 서버, TensorRT-LLM, Triton, Dynamo 등. 전부 나열하면 길어지니 최종 후보 4개만 정리하겠습니다.
| 항목 | SGLang | LMDeploy | vLLM | llama.cpp |
|---|---|---|---|---|
| Throughput (H100, 8B) | 16,215 tok/s | 16,132 tok/s | 12,553 tok/s | ~35 tok/s |
| vLLM 대비 | +29% | +29% | 기준 | -35x~44x |
| 동시 처리 스케일링 | 안정 유지 | 유지 | 하락 | flat |
| Tensor Parallelism | 완전 지원 | 완전 지원 | 완전 지원 | 레이어 분산만 |
| NVLink 활용 | 최적 | 최적 | 최적 | 제한적 |
| 양자화 지원 | AWQ/GPTQ/FP8 | AWQ/GPTQ/INT4 | AWQ/GPTQ/FP8/GGUF | GGUF 네이티브 |
| 커뮤니티 | 성장 중 | 중간 | 가장 큼 | 매우 큼 |
순수 성능만 보면 SGLang이 29% 앞섭니다.
그렇지만 vLLM을 먼저 선택했습니다.
그 이유는 커뮤니티 크기가 결정적이었습니다. vLLM은 커뮤니티 크기가 크고 더 성숙하다고 판단했습니다. 그리고 둘 다 같은 HuggingFace 모델을 쓰기 때문에, 나중에 SGLang으로 갈아타더라도 모델을 그대로 쓸 수 있습니다.
Ollama 대비 4~5배 개선이 목표였고, vLLM만으로도 충분히 달성 가능해 보였습니다. 29% 차이를 위해 레퍼런스가 부족한 엔진을 고르는 건 실무에서 합리적인 선택이 아니라고 판단했습니다.
완벽한 최적 해를 찾느라 시간을 쓰는 것보다, 충분히 좋은 선택지로 빠르게 전환하는 게 낫다고 판단했습니다.
Ollama와 vLLM은 서로 다른 양자화 포맷을 씁니다.
| Ollama | vLLM | |
|---|---|---|
| 양자화 포맷 | GGUF (Q4_K_M) | AWQ, GPTQ |
| 모델 소스 | ollama.com | HuggingFace |
| 최적화 타겟 | CPU + GPU 오프로드 | GPU 전용 |
# 기존: Ollama
ollama pull model-name:32b # GGUF Q4_K_M 자동 다운로드
# 변경: vLLM
uv run python -m vllm.entrypoints.openai.api_server \
--model org/Model-32B-AWQ
같은 4bit 양자화지만 방식이 다릅니다. GGUF는 CPU 오프로드에 최적화된 포맷이고, AWQ는 GPU CUDA 커널에서 역양자화와 행렬곱을 동시에 수행하도록 설계됐습니다. 프로덕션에서 GPU만 쓸 거라면 AWQ가 맞는 선택입니다.
포맷을 바꾸면 끝이라고 생각했는데, 여기서부터 진짜 문제가 시작됐습니다.
일부 모델은 공식 AWQ 버전을 제공하고 있어서 그대로 쓰면 됩니다.
문제는 나머지 모델들입니다. 공식 양자화 버전을 제공하지 않는 모델이 더 많았습니다.
HuggingFace에 올라온 AWQ 모델은 전부 개인이나 커뮤니티 단체가 직접 양자화해서 업로드한 것들입니다. 이게 Ollama의 GGUF Q4_K_M과 동일한 수준의 품질을 내는지는 아무도 보장해주지 않습니다.
결국 이게 전환 과정의 실질적 병목이 됐습니다.
커뮤니티 양자화 모델이 "잘 구성된 게 맞는지" 판단하려면 비교 기준이 필요합니다. 그래서 벤치마크 데이터셋을 직접 구축해야 했습니다. 기존 Ollama(GGUF)에서 나온 결과물과 vLLM(AWQ)에서 나온 결과물을, 같은 프롬프트로 하나하나 비교하는 작업이었습니다.
코드를 짜는 시간보다 모델을 검증하는 시간이 더 길었습니다.
결과적으로 동일하지는 않지만, 비슷하거나 오히려 더 나은 성능이라는 확신이 들었습니다. 하지만 이 과정을 겪지 않았다면 프로덕션에 올릴 수 없었을 겁니다.
vLLM 전환을 계획하고 계시다면, 사용하려는 모델의 양자화 생태계를 먼저 확인하세요. 공식 AWQ가 있으면 바로 쓰면 되지만, 없으면 검증 시간을 일정에 반드시 포함해야 합니다.
최종 실행 명령어는 이렇게 됐습니다.
uv run python -m vllm.entrypoints.openai.api_server \
--model org/Model-32B-AWQ \
--tensor-parallel-size 2 \
--max-model-len 2048 \
--max-num-seqs 16 \
--gpu-memory-utilization 0.80 \
--host 0.0.0.0 \
--port 8000
동일 모델(32B급), 동일 양자화 수준(4bit)으로 비교했습니다.
| 조건 | 값 |
|---|---|
| 동시 요청 | 5개 |
| 반복 횟수 | 3회 |
| 최대 생성 토큰 | 256 |
| 테스트 서버 | 24GB급 GPU x 2 |
| 메트릭 | Ollama | vLLM | 개선율 |
|---|---|---|---|
| 동시 5개 완료 시간 | 38.9s | 5.7s | 6.8배 |
| 평균 지연시간 | 23.31s | 6.48s | 3.6배 |
| 개별 요청 TPS | 15.0 tok/s | 40.6 tok/s | 2.7배 |
| 총 처리량 | 98.6 tok/s | 472.5 tok/s | 4.8배 |
| 요청 처리량 | 0.21 req/s | 0.77 req/s | 3.7배 |
팀 내부에서도 이 정도 차이가 날 줄은 몰랐다는 반응이었습니다. 직접 결과를 보여주니까 전환에 대한 합의가 빠르게 이루어졌습니다.
┌─────────────────────────────────────────┐
│ Ollama │
│ [요청1] → [요청2] → [요청3] → ... │
│ 순차 처리, GPU 유휴 시간 많음 │
│ 총 처리량: 98.6 tokens/s │
└─────────────────────────────────────────┘
┌─────────────────────────────────────────┐
│ vLLM │
│ [요청1 | 요청2 | 요청3 | 요청4 | 요청5]│
│ 동시 처리, 빈 슬롯 즉시 채움 │
│ 총 처리량: 472.5 tokens/s │
└─────────────────────────────────────────┘
| vLLM 기술 | 효과 |
|---|---|
| PagedAttention | KV Cache를 페이지 단위로 관리. 메모리 효율 95%+, 더 많은 동시 요청 수용 |
| Continuous Batching | 요청을 동적으로 배칭. 한 요청이 끝나면 즉시 새 요청을 슬롯에 채움 |
| AWQ | CUDA 커널에서 역양자화 + 행렬곱 동시 수행. GGUF 대비 GPU 연산 효율 높음 |
Ollama는 요청을 하나씩 순차 처리합니다. GPU가 한 요청의 토큰을 생성하는 동안 나머지 요청은 대기합니다.
vLLM은 여러 요청의 토큰을 한 배치에 묶어서 동시에 생성합니다. GPU 활용률 차이가 곧 처리량 차이입니다.
기존 프로덕션 서버(48GB급 GPU x 2)에서 Ollama로 90분 넘게 걸리던 배치 작업이, 테스트 서버(24GB급 GPU x 2)에서 vLLM으로 21분 만에 같은 품질의 결과를 냈습니다.
더 작은 서버에서, 더 빠르게, 같은 품질. 전환 타당성은 충분했습니다.
단일 모델 벤치마크는 끝났지만, 실제 프로덕션에서는 여러 모델을 동시에 서빙해야 합니다.
응답 모델, 추론 모델, 임베딩 모델. 각각 다른 모델이라 LoRA로 공유할 수도 없습니다.
| 방식 | 판정 |
|---|---|
| Nginx 리버스 프록시만 | 모델 라우팅, 헬스체크, 폴백 없음. 기능 부족 |
| Ray Serve / Triton | 소규모 프로덕션에 과도한 복잡성 |
| NVIDIA Dynamo | 멀티노드 대규모 분산용. 오버스펙 |
| LiteLLM Proxy | OpenAI 호환 API, 모델 라우팅, 키 관리, 적정 복잡도 |
OpenAI 호환 API를 유지하면서, 설정 파일 하나로 여러 vLLM 인스턴스를 묶을 수 있습니다. 클라이언트 코드를 바꿀 필요가 없다는 게 결정적이었습니다.
클라이언트
│
▼
LiteLLM Proxy ← 게이트웨이 인증
├── vLLM A (GPU 0) ← 응답 모델
├── vLLM B (GPU 1) ← 추론 모델
└── TEI (CPU) ← 임베딩 모델
클라이언트는 model 파라미터만 바꾸면 됩니다. 응답 모델을 쓰고 싶으면 해당 모델명을, 추론 모델을 쓰고 싶으면 그 모델명을 넣으면 LiteLLM이 알아서 라우팅합니다.
| 계층 | 역할 |
|---|---|
| 게이트웨이 | 외부 접근 제어 (인증 키) |
| 엔진 | 내부 네트워크 보호 (API 키) |
게이트웨이는 외부에 노출될 수 있으니 인증 키로 보호하고, 각 vLLM 인스턴스는 내부 네트워크에서만 접근 가능하되 추가로 API 키를 걸어뒀습니다. 실수로 포트가 열려도 키 없이는 접근할 수 없습니다.
전체 스택은 Docker Compose로 구성했습니다. docker compose up -d 한 줄이면 전부 뜹니다.
테스트 서버에서 검증을 마치고, 프로덕션 서버(48GB급 GPU x 2, NVLink)에 배포했습니다.
Ollama는 자체 API 포맷(/api/chat, /api/generate)을 사용합니다. vLLM과 LiteLLM은 OpenAI 호환 API(/v1/chat/completions)를 씁니다. 포맷 자체가 다르기 때문에, 기존에 Ollama 엔드포인트를 호출하던 클라이언트 코드를 전부 OpenAI 방식으로 바꿔야 했습니다.
# Before: Ollama 자체 API
import requests
response = requests.post("http://ollama-host/api/chat", json={
"model": "model-name:32b",
"messages": [{"role": "user", "content": "hello"}]
})
# After: OpenAI 호환 API
from openai import OpenAI
client = OpenAI(
base_url="http://gateway-host/v1",
api_key=os.environ["GATEWAY_API_KEY"]
)
response = client.chat.completions.create(
model="model-name-32b",
messages=[{"role": "user", "content": "hello"}]
)
변경 범위가 작지는 않았지만, 오히려 좋은 기회였습니다. Ollama 자체 포맷에 묶여 있던 코드가 OpenAI 표준으로 통일되면서, 이후 모델이나 엔진을 바꾸더라도 클라이언트 코드는 그대로 쓸 수 있게 됐습니다.
신규 프로덕션 환경부터는 처음부터 llm-gateway 기반으로 서빙하도록 표준을 바꿨습니다. 더 이상 Ollama를 프로덕션에서 쓰지 않습니다.
Ollama는 나쁜 도구가 아닙니다. 로컬에서 모델을 빠르게 테스트하고 프로토타이핑하기에는 여전히 최고입니다.
다만 동시 요청이 들어오는 환경이라면, Ollama의 순차 처리 구조는 GPU를 낭비하게 됩니다. 그 격차가 4.8배라는 숫자로 나타난 것이고, 이 숫자가 팀 내부의 전환 합의를 만들어냈습니다.
돌이켜보면 가장 시간이 많이 든 건 코드를 짜는 게 아니라, 양자화 모델을 검증하는 작업이었습니다. 공식 AWQ가 없는 모델은 커뮤니티 버전을 직접 검증해야 하고, 그 기준이 되는 벤치마크 데이터셋도 직접 만들어야 합니다. 이 부분을 일정에 포함하지 않았다면 전환 일정이 크게 밀렸을 겁니다.
그리고 엔진 선택에서 "가장 빠른 것"이 아니라 "충분히 빠르고 안정적인 것"을 고른 판단은 지금도 맞았다고 생각합니다. SGLang이 29% 빠르지만, 문제가 생겼을 때 검색해서 답을 찾을 수 있느냐가 프로덕션에서는 더 중요합니다.
좋은글 잘 읽었습니다!! 귀중한 migration 경험을 공유해주셔서 감사합니다