딮식이가 MIT 라이센스로 풀리고 또 R1계열의 모델을 설계하는 레시피까지 쿨하게 공개를 하여 AI연구에 있어 개발의 가속화가 기대되고 있다.

그리고 딮식이는 다른 모델 대비 중국스럽게 보안 특히 Jail Break이 잘되는 편이기도 하다.

하여 이번 포스트는 딮식이를 Local PC에 설치를 한 뒤, Jail Break Prompt를 입력하여 response를 확인해 보도록 하겠다.

1. LM Studio 설치&실행

https://lmstudio.ai/

딮식이의 Local PC설치는 흔히 ollama APP을 통해서 사용하는 포스트가 많긴 한데

윈도우 기반에서 LLM을 설치해서 가지고 놀기에는
LM Studio가 가장편리하다 생각하는 편이다.

위 사진처럼 LM Studio를 설치하면 Local PC에 설치된 모델의 구동을 chatbot GUI로 구동하기 편하게 UI를 제공하고 있어 ollama APP보다는 쓰기가 편하다.

모델 설치는 아래 사진처럼 My Models 탭을 클릭한 뒤
Models Directory에 설치하고자 하는 LLM의 GGUF파일을 넣어주기만 하면 된다.

물론 위 방법이 아니더라도 LM Studio의 Discover 탭을 활용한다면 HuggingFace Model Hub와 연동하여 모델을 다운로드 받는 것이 가능하기에 편리하게 딸깍으로 설치하고자 하는 딮식이를 고른 뒤 다운받거나 설치를 진행하면 된다.

설치한 모델은 CPU + GPU 혼합하여 구동이 가능하고 그 비율을 조정할 수 있는데 이는 GPU Offload탭을 통해서 조정할 수 있다.

0~48까지 조정이 가능하며, 14B 딮식이는 필자의 경우 CPU50% GPU50%(24)주니까 VRAM을 18GB 먹는것 같다.

2. 자유 Prompt

https://github.com/ebergel/L1B3RT45

첨부한 깃허브의 Jail Break 프롬포트를 찾아서 그대로 Chat 탭에서 Local PC에 설치한 딮식이와 소통을 진행하면 된다.

자유를 찾은 딮식이를 즐겨보자