세션 깃허브
세션 밋업 신청

천하의 맥북도 로컬에서 올라마 돌리면 느려지고 메모리 다 잡아먹는데, 이걸 왜 하는거지?
난 애초에 굳이 왜 로컬에서 LLM을 돌리려고 하는지 필요성을 모르겠네

ollama ps

atlas, antigravity CLI, ollama, 등등.. 많이 깔았네

클라우드 배포 전, 로컬에서 RAG 시스템을 프로토타이핑하기
Gemma4, voyage-4-nano 임베딩, MongoDB 활용하여 A to Z 로컬에서 동작하는 RAG 파이프라인 구축

Gemma4

젬마..
; 구글에서 지난 4월에 나온 최신 모델

• 에이전트 특화
• 완전한 오픈소스 Apache 2.0
• 효율성

RAG

• 필요성; 환각 현상 해결, 대외비 문서 보안
• 동작원리; DB에서 검색 - 증강 - 정확한 답변 생성

RAG 프로토타이핑

대규모 클라우드 서버를 구축하고 완벽한 ui를 만드는 게 아니라 내가 짠 RAG 코드가 DB 문서 찾아서 ai가 원하는 대로 답변 잘 하는지 테스트하는거
젬마..

MongoDB

내부 분서 보관

voyage-4-nano 임베딩

텍스트 검색 및 임베딩 전용 모델
특정 좌표를 벡터 변환
검색엔진 역할

Gemma4

사용자에게 답변하는 로컬 ai
문장 생성 ai

• 젬마는 꼭 로컬로만 돌아가나? 제미니에서 못 쓰는 모델인ㄱ가?

uv

uv 패키지가 뭐 좋다던데 뭐가 좋다고?

Atlas

이개ㅔ뭔데

Google AI Studio / Vertex AI: 구글이 제공하는 개발자 플랫폼에서 API 키를 발급받아 내 코드(Python, Node.js 등)에 몇 줄만 추가하면 Gemma 4를 바로 연동할 수 있습니다.