Maybe,,, NVMe Invasion ?
요약: 요즘 데이터센터 인프라 구축 시 NVMe를 중심으로 트렌드가 형성되고 있다. 타 저장 Media 대비 높은 가격이라는 큰 문제가 있음에도, AI & HPC향 성능 요구를 맞추기 위해 적극적으로 고객들이 구매, 배치하고 있다. 불과 몇년전에만 해도 NVMe의 데이터센터 도입은 시기상조이다, 오로지 특수한 가속 계층에만 쓰일 것이란 말이 많았다. 허나, 2025년 11월 현재, 트렌드를 보면 심상치 않다. PC 시장에서 그러했던 것처럼, NVMe의 데이터센터 정복은 이미 시작된 것일 수 있다. 60년대 미국 음악계를 영국의 젊은 음악가들이 점령했던 사회 현상을 British Invasion이라고 부르는데, 이에 빗대 NVMe Invasion이 시작되었다고 볼 수 있지 않을까?
AI 시대 데이터 저장 인프라 트렌드
최근 AI 인프라 구축 시 모델도 모델이지만, 데이터 저장/검색 Path를 어떻게 설계할 것인지도 굉장히 중요해지고 있다. GPU 성능이 충분히 높아지면서 실제 병목은 '''데이터가 얼마나 빠르고 안정적으로 GPU까지 공급되느냐'''로 이동하고 있는 것이다. 이러한 병목을 해소하기 위해 요즘 AI향(向) 데이터 저장장치 및 저장 시스템에서 따라고 있는 트렌드는 다음과 같다.
QLC 기반 고용량 NVMe SSD Adoption in IDC 확산
작년 Solidigm에서 공개한 QLC NAND 기반 NVMe SSD D5-P5336는 122.88TB 용량을 제공해 많은 관심을 받은 바 있다. 단일 NVMe Drive의 용량을 극대화하여 대규모 Dataset & Read-Intensive 환경에 대한 Cost-Efficient한 솔루션을 표방하였다.
25년 11월 기준 가격이 2000만원 이상으로, 아무리 요즘 NAND 가격이 올랐다 하더라도 굉장히 비싼 가격을 자랑하는 Drive이다. 솔직히 처음 나왔을 때는 회의적인 의견들도 종종 있던 것으로 알고 있는데, 요즘 이 D5-P5336를 탑재한 Reference Architecture들이 많이 보이는걸 보면 (= 대표적으로 Vast Data와 Solidigm에서 내놓았던 The Economics of Exabyte Storage라는 White Paper가 있는데, 공개되고 나서 상당한 논란이 있었지만 그와 별개로 충분히 읽어볼만한 가치는 있는 글..) 충분히 상업적으로 성공 가능성이 있어 보인다.
KIOXIA도 전통적으로 3D NAND쪽에서 두각을 나타내는데, 올초부터 245TB NVMe SSD를 선보이고 있다 (아직 상용화된건지는 확실친 않음).
30TB 이하 라인업에선 DapuStor의 제품들이 두각을 나타내고 있다. 아래는 DapuStor의 Haishen5 Series인데, Marvell Technology의 PCIe Gen5 고급 컨트롤러를 탑재했고 3D TLC NAND로 만들어졌다고 한다. U.2 폼팩터 기준으로 3.84TB부터 30.72TB까지 모델이 있고, E1.S로는 7.68TB까지, E3.S로는 15.36TB까지 나와있는데, 요즘 이 제품들에 대한 평이 좋다. 성능 잘 나온다는듯.
Sandisk (WD)의 SN655는 PCIe Gen4 NVMe SSD로 마찬가지로 TLC 3D NAND 기반이고 U.2를 지원하는데, 이 제품의 경우 61TB까지 있다.
PCIe Gen5 SSD Adoption을 위한 스토리지 서버 고스펙화
PCIe Gen5는 NVMe 드라이브당 7GB/s 이상의 성능을 기본적으로 보장하는데, AI 시대가 되면서 생각보다 빠르게 Gen5 SSD의 데이터센터 Adoption이 활발해지고 있다.
이때, PCIe Gen5 Lane 대역이 충분해야 oversubscription을 방지하고 제대로된 성능을 낼 수 있다. 이는 결국 고성능 CPU가 Storage Server에도 필요하다는 말이 되는데, 예를 들어 Intel Xeon 6700P 시리즈 정도는 들어가줘야 PCIe Gen5 lane을 100개 이상 제공할 수 있다고 한다.
위 사진은 Supermicro SYS-212H-TN 모델로 2U 크기에 24개의 U.2 NVMe 드라이브를 꽂을 수 있는 Chassis이다. 여기에 들어가는 CPU가 Intel Xeon 6781P (80 Core, 160 Thread)로, PCIe Gen5 136개 Lane까지 서포트, 이를 통해 24개의 NVMe SSD + 2개 400/800GbE급 NIC을 동시에 서포트할 수 있다고 한다. SOTA인, 요즘 SuperNIC이라고 부르는 ConnectX-8를 탑재할 수 있다는 것이다.
이정도면 불과 몇년전이었으면 Compute Server로도 손색 없는 스펙이다.
최근 MinIO에서는 이 StorageReview 글의 내용처럼, 위에 소개된 요소들을 하나로 합친 ExaPOD이라는 AI향 스토리지 Reference Architecture를 선보였다.
위 그림에서 스토리지 계층을 ExaPOD이라고 부르는건데, 각 Rack은 D5-P5336 SSD가 꽉차있는 Supermicro SYS-212H-TN 섀시들로 구성되어 있다. SW 아키텍쳐가 정확히 나와 있는건 아니라 잘은 모르지만, 아래와 같은 통상적인 MinIO 셋업이지 않을까 싶다.
이러한 구조상에서, 각개 Storage Node의 스펙 향상을 통해 AI향 데이터 I/O 성능 Requirement를 맞출 수 있을 것으로 기대하는 듯. 요즘 LLM 학습, 추론 시 Object Storage를 Storage Backend로 활용하는 프레임워크들이 슬슬 등장하고 있다. LMCache가 대표적으로, S3-compatible한 Object Storage를 최하단 Remote Storage 계층으로 사용할 수 있는데, 이때 이런 ExaPOD 형태의 On-Prem 시스템을 붙이면 성능이 어떨지 궁금하다.
일단 Remote로 붙이는거에서 필연적인 성능 하락은 어쩔 수 없겠다만, 800GbE급으로 연결하고 스토리지 서버 CPU랑 SSD 성능도 최상급을 맞춰놓으면 생각보다 괜찮을수도? 있겠다. 또한, CoreWeave 같은 회사에서 셀링하는 LOTA 같은 Compute Node단 Local NVMe 캐싱 기법들 + G/W Bypassing 기술들이랑 엮이면 더더욱 괜찮을수도? (LMCache랑 CoreWeave가 실제로 협업도 하는거로 알고 있는데, 그 형상이 결국 이런 형상이긴 할듯함).
물론, PCIe Gen4로 Requirement를 조금 낮추면 저런 80 코어급의 스토리지 서버는 필요치 않다. 아래는 다른 포스팅을 통해 한 번 소개한 적 있는 QSAN의 XN4 시리즈 All Flash Array인데, 얘 같은 경우엔 4 또는 8 코어의 Xeon CPU만을 탑재하고 있고, 그것만으로도 U.2 NVMe SSD 26개랑 ConnectX-5 25G NIC를 문제 없이 서포트한다고 한다.
이친구는 Dell의 PowerStore All Flash Array로, 얘 같은 경우엔 24 Core부터 시작함.
(A lot of) NVMe SSDs in GPU Nodes !
로컬 NVMe라 하니까 생각난 포인트로, Compute Node, GPU Node, 뭐라 부르든, 이 계산 계층에서 대용량 NVMe를 달아 활용하는 구조도 널리 쓰이고 있다. 보통 이런 궁극의(?) 서버들은 NVMe-to-GPU 데이터 경로 고대역폭 & PCIe 스위칭 & 고대역폭 RDMA NIC은 필수적으로 갖춰야 한다.
위 그림은 Dell PowerEdge XE7745 4U 서버로, Dual AMD EPYC 9555 (=128코어) 프로세서에 NVIDIA RTX Pro 6000 (Blackwell, 96GB GDDR7) 4개를 달 고 있다. Local NVMe로 Solidigm D5-P5336 8개까지 탑재가 가능하며, 100GbE NIC도 서포트하는데, 이런 녀석이 아주 대표적인 예시이다.
이 글에서 소개하는 것처럼, 이 Dell PowerEdge XE7745는 AI뿐만 아니라 HPC 환경에서 요즘 많이 쓰이고 있다 (참고로 이 글에서 소개하는 오리곤 주립대 서버에서도 Solidigm P5336을 쓰고 있다 (30TB 모델)).
딱 한가지 아쉬운건, 요즘 서버 구축 시 400GbE / 800GbE도 많이들 나오는데, 얘는 100G라는거? 근데 사실 이정도 대용량 스토리지 셋업이 가능하면 굳이 Remote Storage가 필요할까도 싶음.
Maybe... NVMe Invasion ?
트렌드를 요약하면, 30TB 이상의 고용량 SSD가 Gen4/Gen5 상관 없이, 그리고 Compute/Storage Node 구분 없이 실제 서버에 들어가기 시작했다는 것이다. 다들 알다시피, SSD가 대중화된지는 10여년이 넘었지만, 사실 그 대중화라는 것은 일반 Consumer 시장에서 그러한 것이지 데이터센터 환경에선 Adoption Rate를 놓고 봤을 때 여전히 HDD와는 비교가 어려운 수준이었다. 불과 얼마전까지 말이다.
AI 시대가 되면서, 데이터센터를 새로 구축하는 수요가 늘면서, 사람들 사이에서 (데이터센터 환경에서) HDD에서 SSD로의 전환이 드디어 이뤄지내 마내 말이 좀 있었는데, 결론적으로 위와 같은 내용들 + 그리고 요즘 공공연히 들리고 있는 NAND 수요의 급증 & 공급 부족 문제를 보면 사실상 전환은 이미 시작된 것 같다.
얼마전 Sandisk CEO 인터뷰에서 밣히길, Sandisk가 내년도를 넘어 후년도 물량까지 이미 NVMe를 완판했다고 했고, 실적도 매우 좋단다 (실제로 주식도 엄청 올랐음). SK하이닉스나 삼성도 마찬가지로 비슷한 얘기를 하고 있다. SATA SSD도 없어서 못판다고 하는 듯.
한편 동시에, Pure Storage나 Hammerspace, DDN, QNAP, 이런 회사들도 다량의 NVMe Bay로 된 All Flash 플랫폼을 여럿 선보이고 있다 (아래는 Pure Storage의 FlashArray). 마찬가지로, Vast Data, WEKA, 이런 Data SW 기업들도 All Flash에 최적화된 기법들을 계속 만들어가고 있다. 흥미로운 점은, 단순히 상위 Tier 계층에서만 도입하려는건 아닌거 같다는 것이다. 단순 가속 계층에만 NVMe를 두는게 아니라, 진짜 메인 Capacity를 위해서도 쓰이기 시작했다는게 상당히 의미를 가진다고 본다.
이제 데이터센터에서 "진짜로" NVMe가 ""널리"" 쓰이기 시작했다!
여기서 좀 더 나아가 생각해보면, 과거 Consumer 시장에서도 HDD가 SSD로 전환된다 만다 했지만 결국 NAS를 직접 구축하는 소수의 사람들을 빼곤 싹 교체된거처럼, 데이터센터에서도 결국 그런 양상으로 변화하지 않을까 조심스레 예측해본다. 물론, 여전히 LTO가 현역인것처럼, HDD가 뭐 죽네 마네 이런 말을 하고 싶은게 아니다. 아직은 고용량 NVMe SSD가 상당한 고가이지만, 시간이 5년, 10년 지나면 분명 어느 지점에선 안정화된 가격으로 공급되기 시작할 거 같은데, 그때쯤 되면 아카이빙이나 가성비가 중요한 상황을 빼곤 굳이 NVMe를 쓰지 않을 이유가 있겠냐는 관점인 것이다. 만약 그런 시대가 온다면 적어도 대한민국은 그런 시대를 반기지 않을 이유는 없을 것이다.
60년대 비틀즈랑 롤링스톤즈를 앞세운 영국 Rock 음악이 미국 시장에 퍼지기 시작했을 때, 당시 미국의 어르신분들께선 그런 불순한 음악은 잠깐 하다 사라질거라 생각했었다. 하지만, 모두가 알다시피 그때를 기점으로 음악의 역사와 주류가 바뀌게 되었다. 우리는 현시점에서 이를 British Invasion이라고 부르고 있다. 이때, 나는 약간 현재의 이 데이터센터 저장장치 트렌드 상황이 당시의 상황과 겹쳐 보인다.
Maybe,,, NVMe Invasion ?
근데, 생각해보면, 이미 NVMe Invasion은 이뤄졌다. NVMe SSD 가격이 적정선에서 안정화되고 서드파티 컴포넌트를 조합한 가성비 NVMe SSD도 수GB/s 성능을 자랑하는 현시점에서, 그 어느 누가 NVMe SSD 대신 HDD나 SATA SSD를 고르는가. 특수한 목적으로 저장 공간을 크고 저렴하게 확보해야하는 분들 말곤 없다.
물론 데이터센터는 그 상황이 조금 다르다. 데이터가 너무너무 많고, 저장하고 나서 영원히 보지 않을 데이터의 포션이 상당하다. 그래서 실제로 LTO가 여전히 현역인 것이다. 근데, 저장해놓고 계속 읽어댈 데이터는? 그간 이런 녀석들이 고성능 HDD나 SATA SSD로 커버되어 왔는데, 그런 기존 저장장치들보다 (이제는) 용량도 더 크고 (애초에) 성능은 비교가 되지 않으며 (심지어) 전력도 덜 먹고 더 오래가는게 NVMe SSD다. 비싸다고? 맞긴 한데, 아직 수요에 걸맞는 대규모 양산에 들어가지 않아서 그렇지 앞으로 충분히 더 떨어질 수 있고 + 122TB 같은 용량을 기준으로 하면 용량 대비 가격은 그렇게 비싸지도 않다. 물론, 아직은 왈가왈부 말이 많겠지만, 결국엔 Hot Data, Warm Data의 서빙은 모두 NVMe로 대체될거라고 조심스레 예측해본다.
앞으로 5년, 10년, 20년 뒤 돌이켜봤을 때 딱 2025년 지금 이 시점에서 데이터센터에서의 NVMe Invasion이 시작되었다고 역사에 기록되지 않을까?
앞으로의 업계 흐름에 주목하게 된다.
한편, 여전히 연구 개발적으로 우리가 할 일은 너무나 많다. NVMe에 더 최적화된 학습/추론 파이프라인, 데이터 이동 Path를 설계해야 한다. 마찬가지로 NVMe도 더 경제적으로 더 좋은 성능을 낼 수 있어야 하고, 특히나 용량이 커짐에 따라 SSD 내부 아키텍쳐, 외부 API, SW도 계속해서 병목화되고 있기에 이쪽도 할일이 많다. 앞으로 어떤 혁신들이 등장할지 기대되고, 또 그런 흐름에 함께 가도록 더 노력하자!
본 글에 담긴 Claim격의 서술은 모두 제 개인의 의견일 뿐이며 아무런 대표성을 가지지 않습니다.
