OpenClaw 도전기: 실패에서 배운 로컬 LLM 환경 구축

2025.02.02 작성 (구상은 1월 31일 금요일부터)

최근 개발자 커뮤니티, 특히 유튜브에서 OpenClaw에 대한 칭찬이 도배되고 있다. OpenCode, Oh My OpenCode, OpenManus와 함께 시도해보고 싶었지만, 가장 핫한 OpenClaw를 먼저 선택했다. 결론부터 말하자면 실패했다. 하지만 그 과정에서 얻은 것이 있어 기록을 남긴다.

LLM 기반 개발 도구, 어떻게 나뉘나

본격적인 시도 전에, 현재 LLM 개발 도구 생태계를 정리하고 넘어가자. 크게 세 레이어로 구분할 수 있다:
[IDE 안]
Continue - 지금 치는 코드를 실시간으로 도와주는 어시스턴트
[IDE 밖]
OpenCode - 프로젝트 단위로 대신 개발해주는 도구
[에이전트 레벨]
OpenClaw / Manus - 사고 → 계획 → 실행의 자율 에이전트
LLM을 이용해서 무언가를 만드는 방식이 정말 다양하게 확장되고 있다는 게 체감된다. 이전에 open manus를 정말 쓰고 싶었어서 지금 가장 핫한 openclaw를 local llm으로 동작시키고 싶어서 먼저 시도해봤다.

OpenClaw 시도, 그리고 좌절

OpenClaw를 실행하면 이런 형태로 agent와 session, 그리고 사용 모델이 표시된다:

agent main | session main | anthropic/claude-opus-4-5

구조 자체는 머 그냥 저렇게 만들었으니 그냥 받아들인다. 하지만 여기서부터 문제가 시작됐다.
공식 문서( https://docs.openclaw.ai/providers/ollama)를 따라가며 설정을 진행했는데, Ollama 연동이 제대로 되지 않았다. OpenClaw gateway 설정에서 계속 막혔고, 여러 시도를 해봤지만 결국 해결하지 못했다.
해결도 안되니 스크린샷을 남길 여유 따위는 없었다. 문제 해결 과정을 기록으로 남기지 않으니 나중에 재시도할 때도, 이렇게 글을 쓸 때도 구체적인 내용을 복기할 수 없다. 결국 2일 틈틈히 시도하고 일요일 하루 통채로 하다가 안되서 결국 일요일밤 12시가 되어서야 맥북에서 OpenClaw를 완전히 지워버렸다..... 정말 열 받은 상태로 지운거라 터미널 스크린샷도 안남긴게 너무 후회된다.

아무튼 그래서 어떻게 했냐!

openClaw로 로컬 LLM 연동을 포기하고 다른 접근을 택했다. ollama host를 0.0.0.0으로 외부 접근 허용으로 키고 VSCode Continue에 로컬 LLM을 연동하는 방식이다.
우선 Continue는 IDE 내부에서 작동하는 도구지만, 로컬 LLM과 연결하면 비용 효율적으로 코딩 어시스턴트를 운영을 먼저 해보고 추가로 시도해보자는 생각으로 방향을 바꿨다.

설치한 llm list

deepseek 는 정말 써보고 싶었고, qwen2.5 coder는 유튜브를 통해서 코딩 잘 짠다고 익히 들었다. 그리고 glm-4.7-flash 요거도 32gb ram에서 사용할 수 있는 최대인거 같아서 우선 설치했다. 나중에는 kimi 도 설치해서 돌려서 사용하고 싶다.

아무튼 llm설치를 했다고 바로 되진 않았고.... Continue extension 설정도 쉽지 않았지만 역시 Claude 덕분에 해결했다. 진짜 코딩 관련된 건 Claude가 압도적으로 좋은 것 같다.

Continue 설정 파일 (config.json):

{
  "models": [
    {
      "title": "GLM 4.7 Flash",
      "provider": "ollama",
      "model": "glm-4.7-flash:latest"
    },
    {
      "title": "Qwen 2.5 Coder 32B",
      "provider": "ollama",
      "model": "qwen2.5-coder:32b"
    },
    {
      "title": "DeepSeek R1 32B",
      "provider": "ollama",
      "model": "deepseek-r1:32b"
    }
  ],
  "tabAutocompleteModel": {
    "title": "GLM 4.7 Flash",
    "provider": "ollama",
    "model": "glm-4.7-flash:latest"
  },
  "allowAnonymousTelemetry": false
}

3개의 로컬 모델을 등록하고, 자동완성은 가장 가벼운 GLM 4.7 Flash를 사용하도록 설정했다. 이제 상황에 따라 모델을 바꿔가며 사용할 수 있다.

연동 결과

드디어 continue extension도 쉽지 않았지만 역시 claude
진짜 코딩 관련된건 claude가 압도적으로 좋은거 같다.

왜 로컬 LLM인가?

Continue 연동에 성공했지만, 사실 이걸 하는 이유가 따로 있다.
회사에서 CLI 기반 개발 도구(Codex, Claude, Gemini)를 많이 써왔는데, 양면성이 있더라.

장점:

• 시스템 구조와 아키텍처 관점을 보는 능력이 크게 향상
• 프로젝트 전체 맥락 이해 속도 향상

단점:

• 직접 코딩하는 양이 급격히 감소
• 코딩 테스트 문제를 풀려니 한 줄 한 줄 짜는 게 안 되더라 ( 이게 정말 심각하게 느껴졌다. / 최근 현대차 avp 수장으로 온 박민우 avp 수장님을 보고 반성 많이 하였다. 테슬라 코테 만점이라니.... 직접 코딩을 많이 짜야 된다.. )

아무튼 그래서 회사 밖에서는 직접 코딩 짜는 시간을 늘리고 싶었다.

회사 환경:
기존 CLI 도구들 그대로 유지

로컬 환경(Mac):
로컬 LLM + CLI 도구 병행 → 직접 코딩 비중을 의도적으로 늘림

어차피 느린 로컬 LLM이니 기다리는 동안 직접 코드를 짜게 된다. CLI 의존도를 줄이고 실제 코딩 능력을 유지하는 게 목표다.

배운 점

OpenClaw 시도는 실패했지만, 조만간 다시 도전해볼 생각이다. 지금은 Continue와 로컬 LLM 조합으로 안정적인 개발 환경을 먼저 구축하는 게 우선이다.
추후 계획은 Qwen Coder와 DeepSeek-R1까지 추가해서 회사 PC와 맥북을 연동하는 것이다. 외부 api(codex,claude,gemini) 사용량이 넘어서서 끊겼을 때 자동으로 Qwen Coder로 넘어가는 부드러운 전환 시스템을 개발하는 게 목표다. 회사 도메인이 지도/SLAM/센서 시스템이라 LLM 관련 기술을 직접 다룰 기회가 없는데, 개인 프로젝트로라도 이런 멀티 LLM 인프라를 구축해서 개발 트렌드를 따라가고 싶다.
2026년에는 이 환경을 더 정교하게 다듬으면서 실제 코딩 능력도 함께 키워갈 계획이다.

추가 기록

# Ollama 백그라운드 실행 (외부 접근 허용)
OLLAMA_HOST=0.0.0.0 ollama serve > /dev/null 2>&1