0324
온디바이스 AI와 MCU.
온디바이스 AI - 경량화된 AI, 기기에서 로컬로도 작동, 연산, 저장 다 가능함.
MCU - Microcontroller Unit, 초소형 컴퓨터, 온디바이스 AI에 중요.
온디바이스 AI가 뭐가 좋을까. 속도에서 가장 큰 장점이 있다고 함. 클라우드에서 처리하지 않고 로컬에서 바로 처리 가능. 때문에 비용 절감 + 보안 문제도 장점이지 않을까 싶음.
한국 기업인 LX세미콘은 DDI로 확장. DDI (디스플레이 칩, AP라는 프로세서가 이 이미지 입력 요청하면 입력해주는 역할)에서 MCU, 전장 반도체(자동차에 들어가는 반도체) 등으로 확장 중.
어보브반도체는 NPU와 결합해 기기가 스스로 학습하는 AI MCU 개발. 단순 제어뿐 아니라 스스로 학습하는 AI를 위한 MCU를 만들었다고 함. MCU는 현재 해외 중심이지만, AI 수혜를 받으며 국내 팹리스 틈새 시장 공략?
삼성 파운드리, 2나노 수율 60% 달성.
반년만에 20%에서 60% 되었다고. 수율이 좋아지면, 생산 단가도 낮아지고, 수주도 확대되겠군.
의외인 점은 삼성에서 비트코인 채굴용 칩도 생산하고 있다는 것.
업계 선두 TSMC의 2나노 수율 60~70%와 근접. 월드클래스.
NPU 기반 스마트 시티.
NPU?
GPU는 다양한 연산을 병렬로 처리하는 범용 프로세서로 주로 AI 학습과 고성능 계산에 쓰임.
NPU는 행렬곱에 특화되어있음. (MLP 등) 더 빠르단 거임.
베라 루빈?
Hopper (H100) → Blackwell (B100/B200) → 베라 루빈.
GPU뿐만이 아니라 CPU 메모리 다 있는 세트.
HBM, DRAM
HBM : High Bandwidth Memory (고대역폭 메모리), 데이터 통로가 넓음. 3D 구조.
DRAM : 현재 우리가 알고 있는 메모리. 2D 구조.
데이터 공급에 속도가 중요.
학습 시 데이터는 다른 저장소에 저장되는데, GPU는 거기서 데이터를 바로 못 읽음.(느림 이슈) 그래서 RAM이 필요.(미리 저장)
그걸 또 바로 가져오기에는 느림. 그래서 HBM이 필요. 그래픽 카드 옆에 미리 넣어두는 거임.
빨리 데이터를 꺼내오게.
SSD 같은 저장소 → DRAM → HBM → GPU
이런 구조.
