Raspberry Pi 5에서 GPU로 Whisper/TTS 돌리기 - 1. 서론

삽질을 시작하게 된 동기

10만원 안팎의 저렴한 임베디드 컴퓨터에서

• Whisper(OpenAI에서 만든 음성 인식 모델)
• TTS(텍스트 음성 변환 모델)

위 두 가지 모델을 돌려보고 싶었습니다. 왜인지는 비밀(?)

그래서 여러 임베디드 컴퓨터를 찾아봤는데,

• NVIDIA Jetson 시리즈 : 성능은 타의 추종을 불허. 근데 좀 비쌈(개발보드를 직접 만들 수 있는 게 아니라면)
• Raspberry Pi 5 : 가장 유명하고, 돌아다니는 정보도 많고, 싼 편. 근데 GPU를 못 씀
• 여러 NPU를 포함하는 보드들(Khadas VIM, Banana Pi, Odroid 등) : 성능 괜찮아보임. 근데 호환성이 많이 걱정됨

Raspberry Pi 5

가장 유명한 라즈베리파이입니다.
사진 얼핏 보면 커보이는데, 생각보다 디게 작아요
웬만한 폰 크기의 반도 안됨

가격은 10만원 초반 대?

인터넷 열심히 돌아다니다보면, "Raspberry Pi의 CPU는 모델 돌리는데 별로 안 좋으니까, NPU를 달아서 써라" 라면서 아래 그림처럼 생긴 NPU를 따로 사서 달고 실험을 하더라구요??

문제는 이 놈이 혼자 10만원을 넘어버린다는 거 ㅋㅋㅋ...ㅋ..ㅋ.ㅋㅋ.ㅋ.ㅋ

장난쳐?ㅠ


근데 라즈베리파이 사양표를 보니까

뭐야 그냥 GPU만 덜렁 있는게 아니라 vulkan이랑 opengl을 지원하잖아?

GPU 쓸 수 있는데?

...?????
????????????
엥 그럼 왜 10만원짜리 NPU를 따로 달아
그냥 이거 쓰면 되는 거 아닌가????

이거다!!!싶어서 바로 구매를 해버렸고....

삽질을 시작하게 되었습니다ㅎ하하하

삽질일기 출발