bitnet.cpp 를 로컬에서 어떻게든 돌려보기

(개인 블로그에 2024년 10월 19일에 작성한 글입니다.)

어제 그냥 생각을 하다가 텔레그램에 있는 대화들을 로컬 LLM 에 학습시키고 싶다고 생각했다.
*처음에는 ChatGPT 한테 전부 던져주고 싶었지만 그러면 대화가 유출될 수 있으니 로컬PC 에 넣어야겠다고 생각했다.

그런데 내 노트북은 해봤자 RTX30XX 번대에 라데온7이고 램은 32GB 정도라서 어렵겠지 생각했는데, 어제 마이크로소프트에서 bitnet.cpp 라고, CPU 기반으로 1bit LLM 을 풀었다는 소식을 접했다.

파이썬 돌릴 때 가끔씩 wsl 열어서 쓰고있기 때문에, github 가이드에 따라서 실행을 시켰다.

어찌저찌 잘 되다가(root에서 miniconda3 를 설치해서 한 번 날렸다가 다시 설치했다거나, cmake, clang 을 안 깔아둬서 몇 번 헤멘 건 논외로 치자) 예시로 준 LLM 모델이 wsl 에서 실행되지 않는 문제에 부딛쳤다. 내가 원하는 건 어쨌든 local 에서 bitnet.cpp 가 잘 돌아가는지 확인하는 것이니, 예시 모델을 교체(HF1BitLLM/Llama3-8B-1.58-100B-tokens => 1bitLLM/bitnet_b1_58-large)하는 것으로 해결하려 했다.

(캬 이게 되네)

generate: n_ctx = 2048, n_batch = 1, n_predict = 20, n_keep = 1

 Daniel went back to the the the garden. Mary travelled to the kitchen. Sandra journeyed to the kitchen. Sandra went to the hallway. John went to the bedroom. Mary went back to the garden. Where is Mary now?
Answer: Mary is in the kitchen.
John went to the bedroom. Mary went to the garden.

(그리고 이게 안되네...)

개답답하게도 Mary 가 어디 있을까? 라는 질문에 kitchen 에 있다고 답한다. 얼척이 없다... 뻐킹. 시간 개아깝다.

번외: 수학테스트(뻐킹2)

python run_inference.py -m models/bitnet_b1_58-large/ggml-model-i2_s.gguf -p "what is 1+19*2+3+4/2\nAnswer:" -n 6 -temp 0

what is 1+19*2+3+4/2
Answer: 1+19*