우왕좌왕 AMD 그래픽카드 사용기

집 메인컴에는 rx6600을 사용하고 있다. amd 그래픽카드로 LLM을 구동하기 위해서는 ROCM이라는 라이브러리 지원이 필요하다. (Nvidia의 CUDA와 비슷한 AI 라이브러리)

문제는 windows 환경에서는 지원이 잘 되지 않고, rx6600은 플래그쉽 모델이 아니라서 ROCM 공식 지원도 되지 않았다.

그렇게 나는 LLM을 구동하기 위해서 reddit과 github을 뒤지며 rx6600을 위한 ROCM을 수동으로 설치하고 ollama에 겨우 적용해 볼 수 있었다.

삽질한걸 생각하면 최소 1시간 이상은 걸렸을 것이다.
엔트리 모델이긴 하지만 이러한 호환성이나 소프트웨어 지원을 체감하면서 Nvidia가 왜 업계 1위인지 확실히 알게 되었다.

학교 노트북에서 LLM 돌리기

이전에 학교 노트북에서 LLM을 구동하는 블로그를 작성한적이 있다. 이때는 gpu를 사용하지 않고 노트북의 CPU를 통해 양자화된 모델을 느리게나마 구동했었다.

이번에는 노트북의 내장그래픽을 사용해서 LLM을 구동해보았다.
이전 글에서는 intel의 내장그래픽이 ai 연산을 지원하지 않는다고 하였는데, 사실 지원했었다. 다만 생태계나 호환성이 그렇게 좋지는 않다.

IPEX LLM

intel의 github에 들어가보면 ipex-llm 이라는 레포지토리를 찾을 수 있다.
ipex llm은 intel gpu, igpu, npu, cpu등 intel 하드웨어를 위한 LLM 가속 라이브러리이다.

눈여겨 볼점은 ai분야에서는 거의 사용되지 못하던 내장그래픽까지도 가속에 사용할 수 있다는 점이다.

그래픽카드 분야에서 조금 앞서있는 amd가 100만원 이상의 gpu들에서만 제한적으로 ROCM을 지원하는것과 대비된다.

how to use

심지어 사용법 마저도 매우 간단하다.
이곳에 가면 Ollama를 위한 Quick Start 가이드가 있다.

호환성 표를 보았을 때, 출시된지 4년이 되어가는 인텔 11세대의 내장그래픽까지도 지원하는것을 알 수 있다. GPU는 못만들지만 가이드는 누구보다 친절한 인텔

이곳에서 각자 OS에 따라 미리 만들어진 zip 파일을 다운받고 실행하기만 하면, 바로 intel 하드웨어로 ai를 가속 시켜서 ollama를 구동 할 수 있다.

사용법
1. ollama 설치
2. os에 맞는 zip파일 다운로드/압축해제
3. 다운로드한 파일중 start-ollama 실행
4. 일반 ollama처럼 cli, open webui등에서 사용하기

Gemma3:4b를 다운로드해서 돌려보았는데, gpu로 잘 가속되는 모습을 보여주었다. 속도는 초당 14토큰정도 생성해냈다. 내장그래픽인걸 생각하면 꽤나 잘 나오는것 같다.
다만 메모리가 부족한지 자주 멈추고, 죽기도 했다.

마무리

intel이 온디바이스 ai 쪽으로 방향을 잡아서, 비교적 컴퓨팅 파워가 적은 하드웨어도 잘 지원해 주는것 같다.

gpu는 못만들지만 ai 호환성은 챙기는 인텔 vs gpu는 가성비 있게 만들지만 ai는 못돌리는 amd