LiteLLM 실습 — 로컬 LLM부터 AIOps Gateway 운영까지
1.[LiteLLM 1] Docker와 Ollama로 내 LLM Gateway 만들기
Docker·Ollama·PostgreSQL로 LiteLLM 1.104.0을 설치하고 모델 별칭, UI, 일반 응답과 스트리밍을 실제로 확인합니다.
4일 전
2.[LiteLLM 2] 서비스·AIOps·평가용 Virtual Key와 접근 정책
서비스·AIOps·평가용 키를 분리하고 허용 모델, 관리 API 접근 거절, RPM, 키 폐기를 실제 요청으로 검증합니다.
4일 전
3.[LiteLLM 10] Production 전환 검증 — 복제본·Redis·DB 장애와 k6
복제본·Redis·DB 장애와 k6 오류 시나리오를 실행하고 운영 전환에 필요한 공유 상태·접근 통제 기준을 정리합니다.
4일 전