요즘 Claude Code, Coplilot, Codex 같은 도구를 코드 어시스턴트로 쓰는 사람들 많을 거다. 나도 매일 손에 끼고 살다시피 한다. 문제는... 토큰 비용이 생각보다 만만치 않다는 거다. 더 많은 작업을 하려면 결국 더 두꺼운 지갑이 필요해지기 떄문에 주변에서 claude max 를 사용하는 사람을 참 부러운 눈빛으로 바라보게 된다..
그래서 자연스럽게 눈을 돌리게 된 게 바로 로컬 LLM 이다.
대부분의 코딩을 VS Code를 사용해서 하고 있기 때문에 로컬 LLM을 사용하더라도 단순히 채팅앱으로 사용하는게 아닌 VS Code 에서 코드 어시스턴트로 사용할 수 있는 방법이 필요했다. 그럼 비용 부담 없이, 내 컴퓨터에서 돌아가는 모델을 VS Code 채팅에 붙여서 Copilot 처럼 쓸 수 있을까..?
로컬 LLM, 지금 쓸 만한가?
최근 유튜브나 블로그 글들을 보면 로컬 LLM 성능이 꽤 많이 좋아졌다는 얘기가 자주 보인다. 다만 솔직히 말하면, Claude Sonnet 급 성능을 따라가려면 그만큼 고성능 모델을 설치해야 한다.
문제는 그런 모델일수록 디스크 용량도 많이 먹고 GPU도 빵빵해야 한다는 거다. 나처럼 디스크 용량도 빠듯하고 GPU도 넉넉하지 않은 경우엔, 처음부터 무리하기보다 가볍게 시작할 수 있는 모델부터 골라보는게 좋을것같다. 그래서 나는 부담 없이 돌릴 수 있는 Gemma4 를 셋팅해서 사용하기로 했다.
어떤 모델을 골라야 할까?
내 컴퓨터에서 어떤 모델을 돌릴 수 있을지 감이 안 잡힌다면, whichllm 을 써보는 걸 추천한다. 내 사양을 기준으로 어떤 모델이 적당한지 알려준다.
whiichllm 을 셋팅 후 uvx whiichllm 을 입력하면 위의 이미지처럼 결과를 보여주는데 Speed 가 ? 로 나온 이유는 Mac M1 이라서 그렇다. 애플칩을 가진 맥북은 통합메모리 구조라서 속도 예측 데이터베이스가 누락되어 계산을 수행하지못해 저렇게 나온다고 한다.
아무튼.. whichllm이 1순위로 추천한 모델을 설치했지만, 호출이 너무 오래 걸리고 응답도 느려서 결국 Gemma4 로 돌아왔다. 추천은 어디까지나 참고용이고, 실제로 추천받은 모델을 한두 개 돌려보고 체감 속도로 판단하는 게 좋다.
추천모델의 속도가 마음에 들지 않는다면 그보다 한두단계 낮은 모델을 사용한다던지 해야...
많이들 쓰는 대표적인 로컬 모델 2개만 짚어본다.
(검색해보면 거의 아래의 2개로 추천이 모아진다..)
- Gemma — 구글에서 공개한 오픈 모델이다. 비교적 가벼운 크기대의 모델이 있어서, 사양이 빠듯할 때 부담 없이 시작하기 좋다.
- Qwen — 알리바바에서 공개한 모델로, 코딩 작업에 강하다는 평이 많다. 코드 어시스턴트 용도라면 한 번쯤 후보로 올려볼 만하다.
이 외에도 종류가 정말 많으니, 위 세 가지를 출발점 삼아 내 작업에 맞는 모델을 찾아보면 된다.
모델을 돌려줄 서버 — LM Studio vs Ollama
로컬 LLM을 쓰려면 모델을 실행해 줄 서버 툴이 필요하다. 대표적으로 LM Studio 와 Ollama 두 가지가 있다.
- LM Studio — GUI가 잘 갖춰진 데스크톱 앱이다. 모델을 검색해서 클릭 한 번으로 받고, 내장 채팅으로 바로 테스트해 볼 수 있어서 처음 입문하기에 친절하다.
https://lmstudio.ai/ - Ollama — 더 가볍고 라이트한 도구다. 명령어 기반으로 빠르게 모델을 돌릴 수 있어 익숙해지면 손이 편하다.
https://ollama.com/
둘 다 충분히 좋지만, 처음이라면 화면을 보면서 직관적으로 다룰 수 있는 LM Studio부터 써보는 걸 추천한다. 익숙해진 뒤에 가벼운 Ollama로 옮겨가도 늦지 않다.
(그렇다고 Ollama 에서 GUI 를 아예 제공하지 않는것은 아니니 걍 쓰고 싶은걸 쓰는걸로...)
LM Studio로 모델 띄우기
LM Studio를 설치했다면, Model Search 화면에서 원하는 LLM 모델을 검색해 설치한 뒤 실행해 준다.
(난 Qwen3.6 을 사용하려고 했으나 속도이슈로 gemma-4-E4B-it-GGUF 로 설치했다.)
설치가 완료되면 다운로드 받은 모델을 로드해야 한다.
My Models 로 이동해서 다운로드 받은 모델을 선택 후 Load Model 버튼을 클릭해준다.
단순 채팅으로만 사용할것이라면 Use in New Chat 버튼을 클릭해서 바로 채팅을 하면 되지만 내 목적은 vscode 에서 사용하기 위함이므로 모델을 로드해주고 서버를 실행시켜야 한다.
모델 로드시 Context Length 를 설정해야 하는데 기본은 8192 로 되어있다.
이 값이 호출하는 컨텍스트보다 작은경우 에러가 발생되니 적절한 값으로 셋팅해 놓아야 한다. (값을 너무 크게 잡으면 호출에 시간이 오래 딜레이 된다.)
난 vscode 에 기본 규칙등의 설정으로 인해 컨텍스트로 넘어오는 양이 좀 되어서 60,000 으로 셋팅했다.
모델 로드가 완료 됐으면 Developer 로 이동해서 Local Server 을 켜준다.
이게 켜져있어야 API 호출이 되고 vscode 에서 로컬 LLM 을 불어올 수 있다.
이제 로컬 LLM 서버가 실행되어 API 를 통해 LLM 을 호출 할 수 있다.
vscode 는 OPEN AI 형식으로 호출을 하기 떄문에 Developer Docs 의 OpenAI Compatible Endpoints 부분을 확인하면 된다.
VS Code 채팅에 로컬 LLM 연결하기
이제 이 로컬 모델을 VS Code Copilot처럼 채팅으로 쓰는 단계다. 예전에는 Continue 같은 익스텐션을 따로 설치해야 했지만, 최근 VS Code 업데이트로 기본 채팅에서도 로컬 LLM 모델을 골라 쓸 수 있도록 개선됐다.
vscode 의 채팅을 열어주고 하단의 모델 선택 부분을 클릭후 기타 모델 의 톱니바퀴를 클릭.
출력되는 화면에서 Add Models 버튼을 클릭후 LM Studio 를 찾는다.
Ollama 로 llm 을 서빙하는경우 Ollama 를 선택하면 되는데, 찾는 항목이 없는경우 Custom Endpoint 를 선택후 입력창이 나오면 다음의 값을 입력해주면 된다.
그룹이름 : LM Studio
API Key: lm-studio
API Type: Chat Compeletions
그 후 JSON 설정 창이 나오는데 id 는 해당 셋팅의 고유 키 이고 name 은 알아보기 쉽게 적당히 입력해주면 된다.
url 은 api 호출 도메인이라고 보면 되는데 기본 값이 localhost:1234 이고 자세한 내용은 LM Studio 의 Developer Docs 에서 확인가능하다.
셋팅이 완료되었다면 저장후 다시 채팅창의 모델을 선택 > 기타 모델 토글을 열어준 후 설정한 gemma 4 E4B 모델을 선택하면 이제 vscode 에서 로컬 LLM 을 사용하여 채팅을 사용할수 있게된다.
직접 써보니 어땠을까?
설정이 끝나면 Copilot을 쓰는 것과 똑같은 방식으로 VS Code 안에서 로컬 LLM을 사용할 수 있다.
다만 한 가지 참고할 점! 첫 호출은 인덱싱 때문에 응답을 받기까지 시간이 꽤 걸린다. 컴퓨터 사양에 따라서 10분이 넘게 걸릴수도 있다.
(진행상황은 LM Studio 의 Local Server 에서 Log 로 확인할 수 있다.)
하지만 매 호출마다 이렇게 느린것은 아니고 첫번째 호출로 캐싱이 되고 나면 두 번째 호출부터는 꽤 빠르게 응답이 온다.
비용 걱정 없이 내 컴퓨터에서 코드 어시스턴트를 돌릴 수 있다는 건 생각보다 든든한 경험이었다. 물론 아직 최상위 클라우드 모델만큼은 아니지만, 가벼운 작업이나 반복적인 질의응답엔 충분한것 같기도...
하지만 역시 속도의 문제가... 사용하는 컴퓨터의 사양이 좋다면 꽤 괜찮은 속도가 나올런지 모르겠지만 아직 2019년식 Mac 를 쓰는 나에겐 많이 답답하기만 하다..
m5 로 바꾸고 나면 쾌적하게 쓸수 있을랑가...?
