SOFF.OnStage 지식 나눔 영상입니다!
AI 모델의 크기가 계속해서 증가하고 있기 때문에 메모리 접근 및 저장에 대한 최적화가 필요합니다. 최신 반도체 기술은 AI 모델의 메모리 접근 속도를 향상하고, 저장 용량을 늘리는 데 중점을 두고 있습니다.
비트로 컴퓨팅은 양자 현상을 기반으로 하는 혁신적인 기술로, 복잡한 문제를 효율적으로 해결하고 대용량 데이터를 빠르게 처리할 수 있습니다. 이는 암호 해독, 신약 개발, 금융 분석 등의 분야에서의 혁신과 발전을 끌어내며, 새로운 기술의 획기적 발전을 예고합니다.
메모리 집적화 기술은 작은 공간에 더 많은 데이터를 저장하고 더 빠르게 접근할 수 있도록 함으로써 컴퓨팅 성능을 향상하고 에너지 효율성을 높입니다. 이는 모바일 기기부터 대규모 데이터 센터까지 다양한 응용 분야에서 필수적이며, 기술 혁신과 경쟁력 확보에 중요한 역할을 합니다.
HBM(High Bandwidth Memory)은 GPU나 AI 가속기와 같은 고성능 하드웨어에서 주로 사용됩니다. 대규모 데이터를 효율적으로 처리하고 메모리 병목 현상을 줄이는 데 도움이 됩니다.
다음 그림은 엔비디아의 암페어(Ampere) 아키텍처의 일부로, 540억 개의 트랜지스터로 제작됐으며 현재까지 제작된 가장 큰 7나노미터(nm) 크기의 칩입니다. 이전 볼타(Volta) 아키텍처에서 최초로 도입된 텐서 코어(Tensor Core)가 행렬 연산을 병렬로 처리하는 방법을 보여줍니다. 최첨단 과학 산업 및 AI 모델의 훈련 및 추론 속도를 향상하는 데 큰 도움이 됩니다.
GPU & TPU
대규모 데이터 처리와 딥러닝 모델 학습에 특화된 하드웨어입니다. GPU는 초기에 그래픽 처리를 위해 설계되었지만, 딥러닝 분야에서도 뛰어난 성능을 발휘하며 사용되고 있습니다. 최근에는 Google의 TPU와 같은 특수한 AI 칩도 등장했습니다. TPU는 클라우드의 중앙 시스템에서만 처리하던 AI 연산을 IoT 에지 기기로 분산해 작업함으로써 연산 속도를 높이고 서비스 지연시간을 단축할 수 있습니다. 이러한 칩은 특히 딥러닝 작업을 가속화하기 위해 개발되었습니다.
ASIC
특정 AI 작업을 위해 최적화된 반도체 칩으로, 특정 AI 모델에 대한 최적화를 가능하게 합니다. 이는 처리 속도와 효율성을 크게 향상합니다. 예를 들어, 비트코인 채굴을 위한 ASIC 칩이 특정 작업에 특화된 예시입니다. ASIC는 데이터를 픽셀 단위로 행렬화 해 수천 개의 연산기로 분석합니다. 이후 메모리의 데이터를 가져와 각 데이터를 동시에 비교하고 분석합니다. 이 과정에서 별도의 메모리를 필요로 하지 않아 전력을 절약하고, 개발 시 공간도 줄일 수 있습니다.
반도체를 이용한 AI 가속화(AI 하드웨어 가속기)
AI 알고리즘은 계산 집약적이며, 대용량 데이터 처리가 필요합니다. 이를 위해 반도체 기술은 AI 작업을 가속하기 위한 다양한 방법을 제공합니다.
반도체 메모리 기술 (CAS Latency Timing)
CAS Latency Timing은 메모리가 데이터 요청에 응답하여 실제 데이터를 제공하기 시작할 때까지 걸리는 시간을 나타냅니다. 지연 시간은 프로그램의 효율성에 직접적인 영향을 미칩니다. CAS Latency Timing은 DDR 메모리, LPDDR 메모리, GDDR 메모리 등에서 사용됩니다. 이는 컴퓨팅, 네트워킹, 그래픽 처리, 모바일 디바이스 등 여러 용도에 따라 다양한 요구 사항이 있음을 의미합니다. 데이터 중심 응용 프로그램의 증가로 인해 더 빠른 메모리 액세스 속도에 대한 수요가 높아지고 있습니다. 이에 따라 CAS Latency Timing 시장은 연평균 성장률(CAGR)이 높아져 2021년부터 2026년까지 지속적인 성장이 예상됩니다. 삼성전자, SK 하이닉스, 마이크론 테크놀로지(Micron Technology), 인텔(Intel Corporation) 등은 주요 CAS Latency Timing 제품의 제조업체로, 고성능 및 저전력 제품을 다양한 응용 분야에 공급하고 있습니다.
가. FPGA와 ASIC
1) FPGA는 CPU와 달리 코어의 구조를 원하는 대로 프로그래밍 할 수 있는 프로그래머블 코어가 쓰인다. 언제든지 사용자가 원하는 용도에 맞춰 설계를 변형해 쓸 수 있도록
만든 제품으라고 볼 수 있다. FPGA는 최적화된 설계로 연산을 진행하기 때문에 명령어
해석 단계가 CPU보다 작다. 이는 인공지능의 하드웨어 가속기에 많이 사용된다. 실제
[대규모 언어모델 추론을 효울적으로 가속하기 위한 GPU-FPGA 하이브리드 시스템 개발] 에 대한 연세대학교 박현준 교수님의 논문을 확인해 본다면 하이브리드 시스템 개발
결과 GPU 만 있는 것보다 FPGA로 인해 1.36배에서 1.56배의 LLM 성능 향상을 보였음을 보여주게 된다.
2) ASIC는 FPGA를 활용한 최적화된 AI 시스템을 고정해서 대량생산에 이용할 수 있는
반도체 이다. 이를 통해 제작 단가를 낮출 수 있다. 특화된 기능만 수행하기에 동작 속도가 빠르고, 물리적인 크기가 작아 소비 전력이 작다. CPU에 비해 범용성이 떨어지며
다른 용도로 사용이 불가능 하다.
나. 뉴로모픽 반도체
1) 뉴로모픽 반도체는 인간으 뇌, 특히 뇌 속 신경망을 모방하여 데이터의 기억과 데이터의 연산을 동시다발적으로 진행하는 연구를 뜻한다. CPU로는 작업이 어려웠던 사람마다 다른 필체, 목소리, 생김새 등과 같이 정형화되지 않은 글자, 음성, 이미지 등의 데이터를 훨씬 더 빠르게 처리 할 수 있다.
20 저전력 반도체와 인공지능 반도체의 기술과 전망- 20 -
2) [IGZO 기반 뉴로모픽 반도체와 멤리스터를 활용한 이미지 분류 정확도에 대한 연구]
로 상명대 시스템 반도체공학과의 논문을 살펴 보게 된다면 뉴로포픽 반도체의 중요 구성 요소인 멤리스터에 대한 연구를 다루고 있다. IGZO(InGaZnO) 매개변수를 조절하여
MNIST (빅데이터 자료 예시 파일) MNIST 데이터셋의 분류 정확도를 최대 95.88% 까지
향상 시킬 수 있다고 한다.
