온디바이스LLM

그동안 업무를 진행하면서 ChatGPT 없이는 살 수 없는 몸이 되어버렸는데최악의 상황이 발생해 버렸다.온라인 ChatGPT 서비스가 접속이 안되는 현 상황에 대한 대처를 위해온 디바이스 LLM 서비스를 구축하고자 한다.https://ollama.com/dow

도커 설치를 위한 윈도우 세팅 Docker을 설치하려면 윈도우 11에서 가상머신 플랫폼 등을 활성화 해야 한다. 이를 위한 내용은 아래와 같다 > Windows 기능 켜기/끄기 검색 -> Windows 기능 만 키워드 입력하면 Windows 기능 켜기/끄기 앱을

1. 도커에 대한 실습 및 환경 이해 이전 포스트 : 도커 설치를 위한 WSL 설정에서 도커 설치 및 임의의 컨테이너 한두개를 실행하는 것까지 수행했다. 이제 도커 시스템에 대한 간단한 이해를 진행해보자 > docker0 Docker을 실행, 정확히는 Docke

1. 도커허브에서 Nginx 설치하기

필자의 경우 윈도우 Docker Desktop를 사용해서 설치된 컨테이너의 관리를 GUI방식으로 수행할 수 있지만,이걸 CLI나 우분투 환경에서 관리가 용이하게 해주는 컨테이너가 따로 있는 듯 하다.Extension버전으로 먼저 설치를 해보니 대충 설치된 도커 컨테이너

라마 모델을 다운받는건Ollama설치하고이렇게 하면 된다이게 아니고 진짜 USB에 저장해서 갖고 다니는 모델을 다운받는 방법에 대해 설명하고자 한다.https://github.com/meta-llama/llama-models?tab=readme-ov-file먼

https://docs.docker.com/reference/cli/docker/container/위 페이지에 나와있는 명령어를 중요도 순으로 실습하고 이를 정리하는게 본 포스트의 목적이다.먼저 실습 전 할 일로 runapp.js라는 파일과 Dockfile 파

이전 포스트 LLama 모델 다운받기에서 모델을 USB로 다운받기를 완료했으니 이제 다운로드 받은 모델을 도커 컨테이너에 마운트하여 빌드하는 과정을 수행하자. 1) USBIPD-WIN 설치 https://learn.microsoft.com/ko-kr/windows/

https://github.com/ggerganov/llama.cppC/C++ 기반의 경량화된 LLM을 실행(추론) 하는 기능을 제공하는 엔진으로 주요 수행가능한 항목은 아래와 같다.1) LLM의 Local PC 구동 지원 : llama이나 gemma 같이 로

https://wikidocs.net/265456PDF 문서 기반 QA RAG를 설계하면서 필자가 이해가 안되는 정보를 정리하고, 응용한 내용을 기술하고자 한다.https://python.langchain.com/docs/integrations/doc

1.도커 네트워킹 기술 기본적으로 리눅스 네트워크와 동일한 기술이 Docker Network에 적용됨 CNM(Container Networking Model) -> 도커 네트워크 아키텍쳐 CNM의 구조는 위와 같음

구글에서 제공하고 관리하는 오픈소스 컨테이너 모니터링 도구이다.https://github.com/google/cadvisor해당 깃허브 페이지에 접속하면 설치방법에 대한 메뉴가 나오는데 윈도우 Powershell에서는 아래의 코드로 설치를 진행하면 된다.아무튼

https://huggingface.co/google/gemma-2-2b-it이 모델을 다운로드 받으려면 뭔가 설정을 해줘야 하는데 토큰설정이 필요하다먼저 엑세스 토큰 항목으로 들어간 뒤현재 생성한 토큰이 있다면 하나를 클릭해서 edit하자여기에서 repo에

딮식이가 MIT 라이센스로 풀리고 또 R1계열의 모델을 설계하는 레시피까지 쿨하게 공개를 하여 AI연구에 있어 개발의 가속화가 기대되고 있다.그리고 딮식이는 다른 모델 대비 중국스럽게 보안 특히 Jail Break이 잘되는 편이기도 하다.하여 이번 포스트는 딮식이를 L

https://github.com/ggml-org/llama.cppllama.cpp를 사용해서 Hugging Face Checkmodel 규격을 GGUF변환해서 사용하거나 llama.cpp-cli를 이용해 LLM Serving API를 사용하는 경우에는 lla

Cursor AI처럼 요즘 편집기에 채팅봇(Agent)가 같이 붙어서 코드 개발환경을 더 스마트하게 구축하는 것이 가능하지만아무래도 기본 Agent(LLM)성능으로는 한계가 발생한다.이 성능을 향상시키기 위해서는 역시 Tool Colling환경을 구축해야 하고, 요즘