NPU?

CPU, GPU 많이 들어봤지만... NPU? 굉장히 낯설다. 최근에 인공지능을 공부하는 외부 동기가 NPU쪽을 공부한다고 들었다. NPU가 무엇인지 궁금하여, 블로그글 주제로 선정해보았다.

CPU, GPU, NPU?

CPU, GPU와 다른점은 무엇일까? CPU, GPU는 일반적인 컴퓨팅을 위해 만들어졌다.

CPU는 소수의 코어를 가져, 동일한 연산을 대량으로 반복하는 작업에서 효율이 떨어진다.
따라서 GPU라는 것이 나왔는데, 이 친구는 CPU가 가지지 못한 수천개의 코어를 이용해 대량의 연산을 동시에 처리하는 병렬 처리 능력을 가지고 있다.

우리는 인공지능 프로젝트를 하면서 GPU가 부족한 상황을 많이 겪어보았을 것 같다. 즉, 딥러닝 붐과 함께 AI 연산이 필수적이게 되면서, GPU 성능이 중요해졌는데, GPU는 전력 소모가 크고, AI 외의 목적까지 고려한 범용 병렬 프로세서여서 한계를 가지고 있다.

그래서 나온 것이 NPU이다. CPU, GPU와 달리, 처음부터 딥러닝 신경망 구조를 전제로 하여 만들어진 특수 하드웨어이다. 이로써, 더 효율적인 AI 처리를 가능하게 한다.

NPU 어떻게 높은 효율을 낼 수 있을까?

요즘 NPU가 주목받는 이유는 같은 AI 연산을 더 적은 전력과 더 짧은 시간으로 처리할 수 있기 때문이다. 그렇다면 어떠한 구조를 가지고 있길래? 이렇게 AI 연산에 특화될 수 있었을까?

먼저, 딥러닝 모델의 핵심 연산을 알아야한다. 딥러닝을 공부해보았다면, 행렬 곱셈, Multiply-accumulate, convolution 연산 같은 용어를 한 번쯤은 들어봤을 것이다. NPU는 이러한 연산을 반복적, 대량으로 처리할 수 있도록 MAC 연산 유닛을 하드웨어에 내장시킨다. 여기서 MAC 연산 유닛이란 곱셈과 누적 덧셈을 한 번에 수행하는 연산 장치로, 신경망 계산의 핵심을 이루는 연산을 하드웨어 수준에서 가속한다.

위그림들은 다 스터디 시간에 했던 내용인데, 이 계산들의 공통점은 곱과 합의 연속이라는 것이다. 이러한 MAC 연산에 특화된 구조를 가진것이 NPU라고 보면 된다.

NPU 내부에서 연산의 속도를 높이는 것도 매우 중요하다. 이를 위해 높은 정밀도의 부동소수점 연산이 아닌, INT8, INT4 같은 저정밀 연산을 선택했다. 즉, 우리가 Ondevice AI 모델에 필수적인 Quantization 기법을 사용했다고 볼 수 있을 것 같다. 이렇게 양자화를 함으로써, 같은 전력으로도 더 많은 연산을 수행할 수 있고, 메모리 사용량이나 데이터 이동 비용을 감소할 수 있다.

NPU 장점

NPU는 AI 추론에 특화되어 있다. 이미 학습된 모델을 이용하여 결과를 빠르게 예측하는 과정에 최적화되어 있다. 클라우드를 거치지 않고, 실시간 처리를 디바이스 내에서 할 수 있으며, 요즘 부상하는 Ondevice AI에도 필수적인 하드웨어 장치라고 볼 수 있다. 개인정보 보호나, 데이터 센터 비용, 클라우드 의존도를 줄이는 방향으로 요즘 AI 가 발전해나가고 있는데, 이러한 요즘 AI 트렌드에 필수적으로 알아야하는 개념이라고 생각한다.

우리나라 NPU

우리나라도 NPU를 만들고 있는 대표적인 기업들이 있다.

첫번째로는 Rebellions라는 기업이다.

Rebellion의 대표적인 칩은 ATOM이라는 NPU인데, 16GB GDDR6 메모리와 256GB/s의 메모리 대역폭을 제공해 소형 언어 모델(SLM) 추론에 최적화된 성능을 구현하는데 특화되어있다.

두번째로는 FuriosaAI라는 기업이다.

FuriosaAI는 한국에서 시작된 AI 반도체 업체로, 저전력·고성능 NPU 개발을 목표로 하고 있다. 1세대 NPU Warboy를 시작으로 2세대 RNGD 제품을 시장에 내놓았고, 2026년 이후 상용화와 대량 생산 추진이 이어지고 있다.

그렇다면 NVIDIA는?

우리가 GPU 기업이라고 하면 엔비디아가 먼저 떠오른다. 엔비디아는 독립적인 NPU를 만드는 방향이 아닌, GPU+tensor core 방식으로 AI 성능을 강화하고 있다고 한다. 즉, 별도의 NPU 칩을 만드는 것이 아닌, 기존의 GPU에 AI 연산 가속기를 얹는 방식을 선택한 것이다.

NPU? GPU+tensor core?

그렇다면 자연스럽게 의문이 생길 것이다.

NPU? 아니면 GPU+tensor core?
두가지 방식 모두 각자의 장단점이 있다.

전용 NPU는 모바일, ondevice ai, 소규모 데이터 센터를 사용한다는 점에서 매우 좋다. 즉, 전력 대비 최고의 성능을 낼 수 있고, 비용 효율이 매우 좋다고 볼 수 있다. 하지만 이에 따르 단점이 있다. AI에 특화되어 있다보니, 범용성이 낮다는 단점이 있다. 즉 NPU는 AI만을 위한 최고의 환경이라고 볼 수 있다.

GPU+Tensor core는 학습과 추론 모두 가능하고, 범용성이 매우 높다는 장점이 있다. 그러나 전력 소모가 크고 비용이 높다는 단점이 있다.

개인적인 의견

사실 모델들이 더욱 더 많은 파라미터를 가져, 정밀도를 유지하려는 방식으로 발전해가고 있는데, 사실 이 부분도 어느정도의 파라미터 수를 도달하면, 이를 유지하려는 클라우드 서비스나 데이터 센터가 부족해지기 마련일 것이라고 생각한다. 이에 대한 방안으로 NPU의 개발은 필수적이라고 생각이 된다.