LLMSO
1.[LLMSO] LLM 서빙 입문: CH1 모델 서빙과 최적화
LLM을 처음 공부하며, 학습된 모델이 실제 서비스가 되기까지의 과정을 정리했습니다. 모델 서빙의 기본 개념부터 요청 처리 흐름, 성능 최적화와 vLLM의 역할까지 살펴봅니다.
2.[LLMSO] LLM은 어떻게 한 토큰을 생성하는가
LLM은 완성된 문장을 한 번에 만들지 않는다. Qwen2.5-0.5B를 직접 실행하며 다음 Token 생성과 Self-Attention을 따라가고, KV Cache·Prefill/Decode·Continuous Batching·Streaming을 실습합니다.
3.[LLMSO] generate()를 넘어 LLM Serving System 설계하기
단순히 모델을 호출하는 코드가 어떻게 하나의 Serving System으로 확장되는지 직접 구현하고 측정했습니다. 로컬 환경에서 겪은 문제와 실제 결과도 함께 기록합니다.
4.[LLMSO] Agent 시대의 LLM Serving: 어디까지 만들고 어디부터 맡길까?
하나의 사용자 요청이 여러 모델 호출과 도구 실행으로 이어지는 Agent 시대, LLM Serving 플랫폼의 계층과 오픈소스·클라우드 선택 기준을 지연시간과 처리량 지표로 정리합니다.
5.[LLMSO] LLM Serving 병목을 찾는 법
LLM Serving 병목은 어디서 생길까? Compute · Memory · Interconnect TTFT · KV Cache · Prefill/Decode
6.[LLMSO] 병목에서 최적화로: LLM Serving의 배칭·메모리·압축·캐시
GPU를 더 바쁘게, 데이터 이동은 더 적게. Batching부터 Prefix Cache까지 LLM Serving 최적화가 어떤 병목을 줄이고 어떤 대가를 만드는지 정리합니다.
7.[LLMSO] 한 장의 GPU를 넘어: 초대형 LLM Serving은 어떻게 최적화할까?
GPU를 더 붙이면 빨라질까? 초대형 LLM Serving의 병목과 Handoff 비용에 대해서 정리합니다.
8.[LLMSO] 최적화는 어디에서 실행되는가: LLM Serving Framework의 구조와 선택
프레임워크보다 먼저 볼 것은 SLO입니다. vLLM의 Scheduler부터 GPU Worker까지 실행 흐름을 따라가고, TensorRT-LLM·SGLang·llama.cpp의 선택 조건을 비교합니다.
9.[LLMSO] 최적화는 설정이 아니라 측정이다: LLM Serving 최적화 실전
최적화에는 하나의 정답이 없습니다. Qwen3와 vLLM 사례를 따라 트래픽·KV 캐시·양자화·GPU 인터커넥트가 처리량과 지연시간을 어떻게 바꾸는지 측정과 함께 살펴봅니다.
10.[LLMSO] LLM Serving은 어디까지 똑똑해지는가: Semantic Routing부터 RL 서빙까지
LLM 서빙은 이제 모델 하나를 빠르게 실행하는 일을 넘어섭니다. 의미 기반 라우팅, 프로파일링, 멀티모달·엣지·Multi-LoRA·RL 서빙이 어떤 결정을 맡는지 살펴봅니다.