프로젝트 진행 상황

RIAM·2026년 7월 11일

지난 2주간 nano-vLLM 인프라 분석과 해커톤 EDA를 바쁘게 달렸고, 어제 중간회의까지 마쳤음.

아직은 전체 코드베이스가 완전히 머릿속에 들어오지 않아서 이번 주에 빡세게 독해해 볼 생각임. 지금까지 해온 핵심 내용이랑 이번 주(7. 11. ~ 7. 18.) 런닝 계획을 5분 컷으로 깔끔하게 정리해 봄.

제한된 엣지 VRAM 환경에서 처리량(Throughput)을 쥐어짜기 위한 핵심 메커니즘을 파헤침.

스케줄링 효율화: 프롬프트를 처리하는 Producer와 GPU 연산을 담당하는 Consumer를 분리해 병렬성을 확보함. 매 반복(Iteration)마다 배치를 동적으로 관리하는 지속적 배칭(Continuous Batching) 구조를 이해함.

VRAM 한계 극복: OS 가상 메모리 페이징 기법을 벤치마킹한 PagedAttention을 분석해 메모리 단편화를 제거하고 가동률을 96%까지 끌어올릴 수 있는 구조를 확인람. 공통 프롬프트를 재사용하는 프리픽스 캐싱(Prefix Caching)으로 TTFT를 줄이는 원리도 파악함.

말로만 하는 최적화가 아니라 툴을 통해 수치적 근거를 확보함.

CUDA Graph: 초소형 모델일수록 CPU 커널 호출 시간이 병목이 된다는 점을 포착, 연산 그래프를 미리 기록해 Latency를 약 30% 줄이는 효율을 검증함.

SM Occupancy: Continuous Batching 덕분에 GPU 연산 점유율이 톱니바퀴 모양의 버블 없이 95% 이상 꽉 차서 수평선으로 유지되는 것을 확인람.

보안 인프라: ngrok 터널링을 연계해 외부망 유출 없이 안전하게 엔드포인트를 열어주는 온프레미스 AI 서빙의 Blueprint를 세움.

EDA 가설 도출: 무작위 추출 데이터의 한계를 깨닫고 전체 트레인셋 추출로 선회했으며, 스트라이크 존 경계선 거리, 터널링 지표(코사인 유사도) 등 굵직한 피처 엔지니어링 가설을 뽑아냄.

아직 코드베이스를 완벽하게 집어삼키지 못했기 때문에, 이번 주에는 '코드 독해'와 '7. 18. 최종 발표본 작성'에 집중함.

코드베이스 전체를 다 보려고 욕심내지 않고, 우리가 분석했던 3대 핵심 로직 파일만 추적함.

스케줄러 큐: add_request 함수와 step 루프가 소스코드 어디에 박혀서 동적으로 시퀀스를 넣고 빼는지 코드 라인 확인.

블록 매니저: PagedAttention의 BlockManager와 프리픽스 캐싱 해시 테이블 매칭 코드를 찾아 주석 달아가며 독해.

Nsight 상에서 확인했던 Latency 30% 감소(CUDA Graph)와 SM Occupancy 95% 이상 유지(Continuous Batching)를 만들어낸 설정 파라미터나 분기 조건문(If문)이 실제 코드 상에 어떻게 구현되어 있는지 매핑하며 낯선 감정을 지워냄.

내용 종합: 분석 완료한 nano-vLLM 3대 최적화 모듈(CUDA Graph, Continuous Batching, PagedAttention)의 분석 결론과 Nsight 증빙 자료를 장표로 깔끔하게 정리.

로드맵 연계: 7. 10. 중간회의 때 도출된 해커톤 데이터셋 전처리 방향성과 차주 진행할 Model Selection 계획까지 발표본에 얹어서 마무리.

이번 주 한줄 다짐

"구조 분석은 끝났으니 이번 주는 코드 레벨로 딥다이브한다. 낯선 코드베이스 꼼꼼하게 뜯어보고 7. 18. 발표 자료까지 퀄리티 있게 뽑아내겠음."

CA, 반도체 시스템 소프트웨어, 펌웨어, 임베디드