컨테이너 생태계에서 Docker runtime이 왜 하나로 통합되지 않고, 이미지별로 다른 runtime이 필요한지에 대해 의문이 들었습니다. 이를 이해하기 위해 OCI와 CRI의 개념을 중심으로 컨테이너 런타임의 역할과 구조를 정리해 보았습니다.주로 흔들리는 도커(D

vLLM은 asyncLLMEngine이라는 클래스를 사용해 요청을 처리하며, 이 엔진은 Continous Batching을 담당합니다. LLM 엔진은 VM 내부에서 작동하며, 루프를 실행하는데, 이 루프는 세 가지 단계로 구성됩니다: 첫 번째는 스케줄링(Scheduling), 두 번째는 실행(Executing), 세 번째는 출력 처리(Processing...

서비스 API 를 생성한 개발자 중에, 부하테스트를 하고자하는 분들을 위해, 해당 글을 작성하였습니다. 해당 페이지를 읽고 나시면, 성능테스트의 개념, 성능테스트 도구의 종류에 대해 이해하실 수 있습니다.다중사용자 지원 능력을 평가하는데 흔히 세 가지 유형의 성능 테스

벌써 2024년 4분기의 시작이에요. 시간이 정말 빠르게 지나가는 것 같아요. 올해를 돌이켜보면, 여러 가지 생각이 드네요. 특히 지표의 중요성에 대해 많이 고민했던 한 해였던 것 같아요. 오픈서치에 대해 공부하고, SRE에 대한 고민도 많이 했던 것 같아요. 최근 가