[AI] CPU & GPU & TPU

박감자·2025년 9월 29일

🧠 세상의 모든 연산자, CPU · GPU · TPU 이야기

현대 컴퓨팅의 발전은 처리 장치(Processing Unit)의 발전과 함께해왔다.

우리가 사용하는 스마트폰, PC, 클라우드 서버 모두 핵심에는 "연산을 담당하는 두뇌"가 있고, 이 두뇌가 어떤 방식으로 설계되었는지에 따라 성능과 역할이 다르다.

가장 대표적인 세 가지 처리 장치인 CPU, GPU, TPU를 글을 통해 정리해보려고 한다

(참고: 이 외에도 NPU(Neural Processing Unit), DPU(Data Processing Unit), QPU(Quantum Processing Unit) 같은 장치들도 있지만 다 다루기엔 내용이 많아 오늘은 스킵)

1️⃣ CPU – 범용의 뇌

CPU(Central Processing Unit)는 컴퓨터의 핵심 두뇌

운영체제를 구동하고, 소프트웨어의 명령을 해석하며, 입출력을 관리하는 등 거의 모든 일반적인 연산이 CPU에서 시작된다.
대표적인 상품으로는 Intel사의 코어 i 시리즈, AMD의 라이젠 시리즈등이 있고 컴퓨터 사양을 맞춰보다가 한 번쯤은 보게 되는 상품들인 것 같다.

역할
- 운영체제와 프로그램 실행
- 논리적 분기, 복잡한 계산
- 다양한 I/O 관리
장점
- 범용성: 어떤 연산이든 처리 가능
- 강력한 단일 성능: 복잡한 분기와 순차 연산에 강함
- 모든 컴퓨팅 환경에 필수 존재
단점
- 병렬 연산에 한계 → 소수의 강력한 코어만 가짐
- 대규모 데이터 처리에서는 속도와 효율이 떨어짐

2️⃣ GPU – 병렬 연산의 제왕

GPU(Graphics Processing Unit)는 병렬 연산의 강자

수천 개의 작은 코어로 구성되어 있어, 대규모 반복 계산에 특화되어 있고 좋은 사양의 컴퓨터를 사용할때 빠지지 않는 하드웨어이다. 그래픽 기술을 필요로 하는 기술에 필수적이며 GPU가 없다면 랜더링조차 되지 않는 게임과 기술들이 존재한다. 컴퓨터 사양이 좋다는 얘기를 듣고 싶다면 GPU를 고려해보자 (경제적인 형편은 꼭 고려하자...이 감자처럼 무턱대고 지르지 말것...)

역할
- 3D 그래픽 렌더링
- 병렬 계산(행렬 연산, 시뮬레이션, 영상 처리)
- AI/머신러닝 가속 (<= 흥미로운 부분)
장점
- 대규모 병렬 처리: 수천 개 코어로 동시에 연산
- 다양성: 그래픽뿐 아니라 과학, 금융, AI 등 활용 분야 확대
- AI 학습에 널리 사용됨
단점
- 순차 연산이나 분기 처리에는 비효율적
- 전력 소모가 크고 발열이 심함
- CPU 없이는 독립적으로 동작 불가

AI 학습에 도움

병렬 연산을 무리 없이 한다는 점에서 많은 데이터를 연산하는 일에도 쓰이고 있다. AI 시대에 접어들면서 엔디비아와 AMD가 현재 GPU 시장의 강자로 떠오른것도 이때문이다.

3️⃣ TPU – AI 시대의 전용 엔진

TPU(Tensor Processing Unit)는 구글이 개발한 딥러닝 전용 ASIC(Application-Specific Integrated Circuit)이다.

이름 그대로 Tensor 연산(행렬, 벡터 연산)에 특화되어 있어, 신경망 학습과 추론을 기존 CPU나 GPU보다 훨씬 빠르고 효율적으로 수행한다.

역할
- 딥러닝 모델 학습과 추론
- 대규모 행렬 연산 처리
- 클라우드 기반 AI 서비스 가속
장점
- AI 특화 성능: GPU보다도 빠른 딥러닝 처리 속도
- 전력 효율: 동일 연산 대비 적은 전력 소모
- 확장성: TPU Pod로 클러스터링 가능
단점
- 범용성 부족 → AI 이외의 영역에서는 활용 제한적
- 주로 Google Cloud에서만 접근 가능 (소비자용은 거의 없음)
- 특정 프레임워크(TensorFlow)에 최적화되어 있음

왜 지금 TPU가 중요한가?

오늘날의 AI와 딥러닝은 단순히 연구를 넘어서 산업 전반을 바꾸고 있다. ChatGPT 같은 대규모 언어 모델, 자율주행, 이미지 인식, 추천 시스템 등은 모두 막대한 양의 행렬 연산을 필요로 한다

아까 GPU도 충분히 괜찮다고 하지 않았나? 맞다, GPU가 병렬 연산의 최강자인것은 변하지 않는다. GPU가 AI 발전을 이끌어온 주역이라면, TPU는 그 다음 세대의 전용 엔진이다. GPU보다 더 효율적으로 대규모 학습을 수행하고, 에너지 비용까지 절약할 수 있기 때문이다.

비유

~~(AI가 그려줌, GPT일까 Gemini일까 맞추는 분께 칭찬을)~~

🧠 CPU = 헤드셰프/총괄 매니저 (뇌)
- 장점: 어떤 주문이든 메뉴 조리 가능
- 단점: 혼자서 하나하나 처리는 속도에 한계
- 총평: 대신 메뉴의 순서, 손님 응대, 재료 발주까지 모든 걸 조율 가능
👨‍🍳 GPU = 수백 명의 조리사 (병렬 요리사 팀)
- 장점: "감자 1000개를 깎아라!" 같은 반복 작업 특화
- 단점: 레시피를 새로 만드는것은 어려울 수 있음
- 총평: 한 가지 일을 수천 번 반복하는 데 최적화
⚙️ TPU = 자동 감자깎기 기계 (전용 장비)
- 장점: 감자깎기 기계처럼 전용 장비에 가까움
- 단점: 감자 말고 다른 재료를 다루지 못함 (오이도 못 깎고, 무도 깎지 못한다)
- 총평: 범용성은 없지만 AI 모델 학습에 필요한 행렬 연산만 빠르고 효율적으로 처리