TIL| 아홀로틀 + qwen3-32B

타샤's 월드·2025년 6월 5일

🌞 시작하는 글

살다보면 하고 싶은것만 하는 순간도 있어야지..?

아홀로틀은 기본 세팅이 멀티GPU 지원이 되서 생각보다 속도가 엄청 빨랐다.

모델은 qwen3-32b 였고 성능 괜찮은것 같아 일반적인 의미에서 파인튜닝이 필요할까?
더 큰 모델은 235B 인데.. 엄청 평가 좋은것 같은데 솔직히 h100 2장으로 못 돌릴듯?

나무위키님이 말씀하시길 코딩및 에이전트, mcp에 특화되어 있다고 해서 그런것도 테스트해보면 재밌을것 같음.

내 커서 느려서 답답해서 못쓰고 있는데 커서에 연결을 해볼수 있지 않을까?

⚗️ 오늘의 실험

1.

1) axolotl train examples/qwen3/32-qlora.yaml
32-qlora.yaml에 정의되어 있는 방식으로 모델 학습

2) outputs에 다음과 같이 결과물이 생성됨. README에 학습한 조건들도 다 정의됨

.bin 파일은 없음 왜? qlora 방식을 사용했는데 lora는 베이스모델은 그냥두고 그 위에 변호된 lora adapter만 따로 저장하니까. 그러니까 여기 생성된 .safetensors가 실제 아웃풋이라 보면 됨ㅇㅇ

accelerate launch -m axolotl.cli.inference examples/qwen3/32b-qlora.yaml --lora_model_dir="./outputs/out" --gradio

허깅페이스 accelerate를 이용해 멀티 gpu 사용
axolotl.cli.inference (결과 모듈)을 파이썬 main으로 실행.. 코드는 실제로 src/axolotl/cli/main.py에 있음
examples/qwen3/32b-qlora.yaml config 파일, 32B 도 가뿐히 돌아감.
모델은 학습된 결과 ./outputs/out에서 불러와서 사용한다.
여기에 기존에 학습된 모델이 없다면?? => .bin 파일이 없으면 바로 크래시 남(.bin 파일 없다고 FileNotFound 에러)

4) 현재 결과...

2. openstack

일단 kolla + docker + openstack으로 구성.
단일 마스터 노드로 할려고 했는데.. 이번에 배운게.. ha 구성으로 해야한다는거.. 서버 빼앗기는일이 생각보다 있음..ㅠㅠ..슬프다
kolla-ansible은 openstack을 도커로 설치할 수 있게 해주는 오픈스택 전용 툴임.

1) kolla-ansible과 ansible 설치 (python3.10 기준)

2) /etc/kolla-ansible/globals.yml에 설정 정의

kolla_internal_vip_address: "192.168.14.100"  # 실제 서버 IP 아님! 가상 IP

network_interface: "eth0"  # VIP가 붙을 NIC
neutron_external_interface: "ens3"  # vm이 외부 인터넷 등이랑 통신할때 외부로 연결되는 네트워크용 물리 NIC

enable_haproxy: "yes" #ha proxy 컨테이너를 띄워서 오픈스택 api 요청을 로드밸런싱
enable_keepalived: "yes" # vip가 붙어있을때 주 서버를 관리하고 장애시 ipf를 옮겨주는 컨테이너

enable_horizon: "yes" # 웹ui 호라이즌 대시보드를 설치
enable_cinder: "yes"

3) 패스워드 없이 ssh 접근 가능하게 세팅. 키파일 사용

4) 실제 사용

[control]
controller01 ansible_host=192.168.14.1
# 확장시
# controller02 ansible_host=192.168.14.2

[compute]
compute01 ansible_host=192.168.14.11
compute02 ansible_host=192.168.14.12

[cinder]
controller01

[monitoring]
controller01

[all:vars]
ansible_user=edentns

5) ssh 연결 확인되었으면 부트스트랩으로 서버 연결
kolla-ansible bootstrap-servers -i /path-to/myenv

6) prechecks
kolla-ansible prechecks -i /home/edentns/tasha/openstack/koalla-ansible/inventory/myenv