로컬 llm 구동 웹사이트 개발기
1.WEB GPU를 통한 로컬 LLM 서비스 구현하기 (1)
deepseek API 쓰다가 보안 취약점를 고민하게 되었다. DeepSeek를 서버를 통해서 사용하는 것이 보안에 있어서 위험하다면, 로컬에서 돌리면 되지 않을까? 하는 생각으로 이 프로젝트를 시작하게 되었다. 마침 webGPU라는 기술을 알게 되어 이걸 사용해보고자
2025년 2월 17일
2.WEB GPU를 통한 로컬 LLM 서비스 구현하기 (2)
deepseek API 쓰다가 보안 취약점을 고민하게 된 이후, 로컬에서 LLM을 돌리면 보안 문제는 물론 네트워크 딜레이도 확 줄일 수 있겠다는 생각이 들었음. 그래서 이번엔 webGPU를 활용해서 transformers.js 기반의 파이프라인을 만들고, 모델이 로딩
2025년 2월 17일