※ 이 블로그는 과거에 공부한 내용을 실제 경제·시장 데이터와 연결하여 정리한 기록입니다.
Table of Contents
Gencon2025 / DataCenter
1. Introduction
Gencon 2025를 다녀와서 기억에 남는 것이 NPU, GPU 그리고 데이터센터였습니다. 그걸 토대로 이번 Log에서는 데이터센터의 전력수요에 대해 계산을 해보았습니다.
2. Commentary
2025 Gencon AI Conference for AI Future
홈페이지: https://gencon2025.fastcampus.co.kr/
패스트캠퍼스에서 주최한 강연으로 실리콘 밸리에서 오신 연사분들이 참석한 AI 컨퍼런스입니다. 그 중 눈여겨 볼 기술들을 정리해보았습니다.
VLM (Vision-Language Modal)
'Physical AI를 위한 비전 언어 모델 학습 플레이북'라는 주제로 엔비디아 근무하셨던 'Sean Cha'의 연사로, Vision-Language Model(VLM)을 물리 세계(자율주행, 스마트시티 등)에 적용하기 위해 NVIDIA가 VILA / NVILA / Cosmos Reason-1 같은 VLM을 비디오 데이터에 파인튜닝하고, 그 위에 LLM(코웬 LLM, Llama 3 계열)을 얹어서 산업 전반에 활용하는 방법을 소개해주었습니다.
핵심 기술은 이미지랑 언어기반을 합쳐 사용하는 방법으로 Vision 인코더를 사용하여 이미지를 추출하는 것입니다.
- ViT(Vision Transformer)나 CNN 같은 걸로
- 이미지/비디오를 벡터 시퀀스(토큰)로 바꿈.
- 비디오면 프레임마다 특징 추출 + 시간 정보도 섞음.
이미지 데이터 역시 핵심 자산으로 간주된다는 의미겠죠. 앞으로 데이터 자산은 점점 더 치열한 경쟁의 대상이 될 것으로 보입니다.
Veo3
'Building Large-Scale AI for the Next Era of Visual'이라는 주제로 Runway(뉴욕창업자) 이도엽님의 강연으로 Large Scale 이미지/비디오 생성 모델을 개발하기 위한 전체적인 과정과 최근 결과들을 소개해주었습니다.
계산량과 데이터, Bitter Lesson가 핵심 키워드로 충분히 많은 계산과 데이터 + 일반적인 방법(검색·학습)을 사용하는 쪽이 결국 이긴다는 말씀과 복잡한 트릭보다 대규모 데이터셋과 거대한 연산량을 밀어 넣은 쪽이 장기적으로 더 강력한 모델을 만드는 패턴이 반복되고 있다는 것이라는 내용이었습니다.
- Training: 얼마나 많은·다양한 비디오 데이터를 먹였는가
- Architecture: 어떤 구조로 시공간 정보를 표현하고 유지할 것인가
- Optimization: 학습 스케줄·정규화·튜닝 전략을 어떻게 짜느냐
이 세 가지를 “AI가 잘 배우도록 뇌 구조(Architecture), 공부 방식(Optimizer), 공부 속도(Schedule)를 제대로 정의해주는 과정”이라고 설명했습니다.
해당 세션의 강연에서 해준 기술 방법론을 듣고는 '자본만 있다면 현재 기술력만으로도 AI로 영화 제작이 가능하다'는 말에 저도 깊이 공감했습니다
NPU
'글로벌 AI 인프라 패러다임 전환과 NPU 시장의 3대 기회'라는 주제로 '리벨리온'에서 오신 'Rufina Kim'의 연사가 있었습니다. NPU와 GPU, 그리고 데이터센터를 뇌구조와 함께 예를 든 내용으로 소개해주었습니다.
GPU와 NPU를 뇌 구조로 보는 역할 분담으로,
- GPU를 해마(Hippocampus)에 비유하여 학습·저장·재생, 장기 기억 형성에 가까운 역할을 하고 대규모 학습, 그래픽, 과학 계산처럼 모든 회로를 풀로 돌려야 하는 작업에 적합하다.
- NPU는 소뇌(Cerebellum)에 비유하며 반복, 조정, 정제, 실시간 반응 담당을 하며 이미 학습된 모델을 바탕으로 실시간 추론·반복 작업을 효율적으로 처리한다.
그리고, NPU 시장의 핵심 지표 3가지는
- Performance per Watt: 같은 전력으로 얼마나 많은 추론을 처리하느냐
- TCO(Total Cost of Ownership): 장비 + 전력 + 운영비까지 포함한 총비용
- 생태계 확장성: 커머스, 오픈소스, 파트너십/협업 등
아래는 연사 도중 하신 말씀입니다.
"인간 뇌에는 약 860억 개의 뉴런이 있지만 그중 1~10% 정도만 활성화된 상태에서 현실에 대한 즉각적인 판단과 행동이 가능하다."
"모든 뉴런이 동시에 활성화되면 시스템은 사실상 붕괴 상태에 가깝다. 에너지 소모가 폭증하고, 정보 처리도 혼란스러워진다."
뉴런과 뇌에 대한 설명이 AI반도체와 연결되면서 정말 인간적으로 변해가는 기계의 혁신적인 모습들이 아직도 머리속에 그려져있습니다.
이 외에도 전 테슬라의 Lucy Cho가 소개한 두뇌 컨트롤러(ECU), 전 RockStar Games의 김윤규님이 발표한 애니메이션 툴 강연, 그리고 Waddle 대표이자 OpenAI ChatGPT-5 해커톤(24시간) 우승자인 박지혁님의 강연이 있었습니다.
또한 삼일PwC 회계법인 부대표님의 AI 플랫폼 설명과 미래 전략 역시 매우 인상 깊었습니다. 산업과 기술, 비즈니스가 어떻게 연결되는지를 통찰력 있게 보여준 세션이었습니다
3. Data Flow Log
#GPU #DataCenter #Electricity
엔비디아 AI GPU 출하량
Nvidia shipped 3.76M data center GPUs in 2023 — dominates business with 98% revenue share
출처: Tom's Hardware
본문:
최근 AI 붐은 엔비디아에 큰 이익을 가져다주었습니다. 엔비디아는 2023년에만 376만 대의 데이터센터 GPU를 출하한 것으로 알려졌습니다. 이는 2022년 데이터센터 GPU 출하량보다 100만 대 이상 증가한 수치이며, 판매량은 42% 이상 증가했습니다.
HPCwire 에 따르면 , 이러한 수치는 엔비디아가 2023년에도 전년 대비 98%의 데이터센터 GPU 시장 점유율을 유지했음을 보여줍니다.
| 구분 | 연도 | 추정 출하량 |
|---|---|---|
| 데이터센터용 GPU 출하량 (실적) | 2022년 | 약 260만 장 |
| 데이터센터용 GPU 출하량 (실적) | 2023년 | 약 376만 장 |
| AI GPU 출하량 (전망치) | 2025년(E) | 약 650만 ~ 700만 장 |
| CoWoS-S 패키징 AI GPU (전망치) | 2025년(E) | 약 300만 장 |
| 증감 | 2023 → 2025(E) | 376만 → 650만 ~ 700만 장 |
▲ 2022~2023년 데이터센터용 GPU 출하량: TechInsights 등 시장조사 기관 추정치
▲ 2025년 AI GPU 출하량: Mizuho 등 애널리스트 리포트 기반 전망치
Mizuho증권 등의 애널리스트에 따르면 25년 출하량은 650만 ~ 700만 장으로 23년의 2배 가까이 될 것으로 예상한다고 합니다.
전력 수요
Data Centres and Data Transmission Networks
출처 : IEA - Energy
본문 요약 3문단:
- 2022년 데이터센터 전력 소비는 약 240–340 TWh로 추정되며, 전 세계 전력 수요의 1–1.3% 수준이다.
- 한 분석에 따르면 2024년 데이터센터 전력 소비는 약 415 TWh로, 전 세계 전력 소비(약 3만 TWh)의 1.4% 정도를 차지한다.
- IEA는 2030년까지 데이터센터 전력 소비가 2배 이상 증가할 수 있으며, 일부 시나리오에서는 945 TWh 수준까지 도달할 수 있다고 본다.
엔비디아 25년도 출하량 기준 데이터센터의 전력 수요를 대략적으로 계산해봤을 때 GPU 한 장에 약 700W급이고 그렇게 계산했을 때, 650만 장이면 4.6GW 수준, 대규모 원자력 발전소 약 4~5기 규모 정도로 약 150만 가구가 동시에 전기 사용 가능합니다.
쉽게 말해, 25년 엔비디아에서 출하될 GPU들이 모두 가동된다고 가정하면, 서울 인구의 절반이 쓰는 전력과 맞먹는 수준의 추가 전력 수요가 생긴다고 보면 됩니다.
이처럼 데이터를 가공하고 추론적으로 활용하면, 전체 규모를 대략적으로 추산할 수 있습니다.
추가자료
Hyperscale Data Center Count Increased To 1,136 in 2024
2024년 하이퍼스케일 데이터 센터 수 1,136개로 증가
Synergy Identifies the World's Top 20 Locations for Hyperscale Data Centers
Synergy가 전 세계 하이퍼스케일 데이터 센터 상위 20개 위치를 선정했습니다.
Synergy의 새로운 데이터에 따르면 단 20개의 주 또는 대도시 시장이 현재 전 세계 하이퍼스케일 데이터 센터 용량의 62%를 차지합니다. 북부 버지니아 와 광역 베이징 지역만 전체의 22%를 차지합니다.
저희 나라도 얼마 전 엔비디아로부터 국가적으로 26만장을 확보했다고 하니 하이퍼스케일 데이터센터가 여러 곳 생기겠네요.
An Overview of High-Bandwidth Memory (HBM)
고대역폭 메모리(HBM) 개요
HBM 공부자료
4. Conclusion
Recap & Remarks
Gencon 2025에서는 VLM, Veo3, NPU 등 최신 AI 기술이 산업에 어떻게 적용되는지를 다뤘습니다. 특히 비전-언어 모델과 대규모 비디오 생성 기술은 AI의 물리 세계 확장 가능성을 보여주었습니다.
GPU와 NPU를 인간 뇌에 비유한 설명은 인상적이었으며, NPU의 전력 효율성과 생태계 확장성이 미래 인프라 전략의 핵심으로 떠오르고 있습니다.
이번 엔비디와의 거래로 확보된 GPU 26만장, 5개 규모의 하이퍼 스케일 데이터센터를 구축할 수 있을 것 같습니다. 그러려면 전력 에너지가 필요합니다. 최근 언론에서 과기부장관의 SMR 기술 도입도 언급되었는데 이런 부분도 이해하고 함께 보면 좋을 것 같습니다.
Looking Ahead
2025-11-07(금): Gencon AI Conference For AI Future 2025
(10:00~18:00 / 코엑스 오디토리움)2025-11-10(월)~11(화): AI Summit Seoul & Expo 2025
(10:00~18:00 / 코엑스 그랜드볼룸 & B홀)- 2025-11-12(수)~16(일): G-STAR 2025 (부산 벡스코)
- 2025-12-05(금): Data Governance Forum (서울 강남)
교육 sessions
2025-11-08(토)~09(일): HackSeoul 2025 (쿠팡@타워730 / 해커톤)2025-11-12(수): The Future of AI: Build Agents That Work (09:30 / 온라인 교육)- 2025-11-16(토): SQLD 자격검정시험
"우리는 겸손해야 한다. 당신이나 나는 대단한 사람이 아니다. 우리의 보잘것 없는 성취로 다른 사람을 지겹게 만들기엔 인생은 너무 짧다."
- 데일카네기 '인간관계론'
"감성과 이성이 일치할 때 의사판단 결정을 내리면 좋은 결과를 얻을 수 있다"
