26F12L
AI 및 GPU 워크플로우 회의록
1. 회의 배경 및 현황
1.1 현재 상태
GPU 클러스터 불확실성
벤더 질문:
"what is the main goal of GPU cluster? Could GPU... both training
[and] inference. So GPU, they don't have an answer, like, whether
it's for training or inference"현황:
- GPU 클러스터 용도 미정
- Training vs Inference 미결정
- 하드웨어 사양 불확실
1.2 회의 목적
벤더 설명:
"I wanted to understand better the needs or the plan for the
deployment... so we can size the AI store recommendation"목표:
1. Training vs Inference 요구사항 파악
2. 스토리지 용량 산정
3. 네트워크 처리량 계산
4. 하드웨어 권장사항
2. GPU 노드 아키텍처
2.1 NVIDIA DGX Platform
기본 구성
벤더 설명:
"VT content has eight GPUs... Each of these GPUs is connected
into its own [NIC]... And then there's two CPUs in this platform,
and then there's two [NICs]... these ones are 400 [Gbps]"DGX 노드 구성:
┌─────────────────────────────────────────┐
│ NVIDIA DGX Node │
├─────────────────────────────────────────┤
│ 8x GPUs (H100/A100/etc) │
│ ↓ │
│ 2x CPUs │
│ ↓ │
│ 2x 400Gbps NICs (ConnectX or Bluefield)│
└─────────────────────────────────────────┘
최대 처리량: 800Gbps (2 x 400Gbps)2.2 NVIDIA SuperPOD
정의
벤더 설명:
"Nvidia has this super[POD] specification... Nvidia says, take
one of these and put 72 together, right? 72 of these, which
[is] 76 GPUs [total]."SuperPOD 구성:
- 72 DGX 노드 (각 8 GPUs)
- 총 576 GPUs (72 x 8)
- Scalable Unit: 기본 구성 단위
3. Training vs Inference
3.1 Training 워크로드
데이터 처리량
벤더 설명:
"when you're training, [you can] pull between hundreds megabytes
a second to 500 megabytes per GPU"처리량:
- Per GPU: 100~500 MB/s
- Per DGX (8 GPUs): 800~4,000 MB/s (0.8~4 GB/s)
SuperPOD Training
벤더 계산:
"this gives you... a theoretical [throughput] of 64 gigabytes a
second to 288 gigabytes [per SuperPOD]"SuperPOD 처리량:
- 최소: 64 GB/s
- 최대: 288 GB/s
- 72 DGX 노드 기준
스토리지 요구사항
벤더 계산:
"for me[MinIO], this will be between four to six [MinIO] nodes...
assuming MinIO has [dual] 400 gigabit [NICs]"MinIO 클러스터:
72 DGX (SuperPOD) → 4~6 MinIO 노드
- MinIO 노드당: Dual 400Gbps (800Gbps total)
- 처리량: 충분 (64~288 GB/s 대비)예측 가능성
벤더 강조:
"training is predictable. You know how much data you [will be]
pulling, how long you [will be] training for, and what's [the]
expected throughput"특성:
- ✅ 처리량 예측 가능
- ✅ 학습 시간 계산 가능
- ✅ 스토리지 사이징 명확
3.2 Inference 워크로드
복잡도
벤더 설명:
"on [inference], the math changes because of the models. So...
the size of the model... and the number of [concurrent] users changes."변수:
- 모델 크기: 달라짐
- 동시 사용자: 가변적
- KV Cache: 필요 여부
대규모 모델 예시 (Qwen 2.5)
벤더 설명:
"Let's say Qwen 2.5... one of the largest ones is roughly 610
gigabytes of weights... you need to load into memory."모델 로딩:
- Weight 파일: 610GB
- GPU 메모리: 로딩 필요
- 추가 복사본: Inference 시 생성
Prefill vs Decode
벤더 설명:
"the process of inference... is split into two parts... they
call [prefill] and [decode]"2단계 처리:
1. Prefill (전처리):
┌──────────────┐
│ GPU Node 1 │
│ (Prefill) │
│ │
│ Input tokens │
│ → LLM │
│ → KV Cache │
└──────────────┘2. Decode (생성):
┌──────────────┐
│ GPU Node 2 │
│ (Decode) │
│ │
│ KV Cache → │
│ → Generate │
│ → Output │
└──────────────┘KV Cache
벤더 설명:
"when [you prefill] the tokens into the LLM, it generates
something called KB cache... that needs to be moved over to
the GPU node for decode"KV Cache 저장 위치:
1. GPU to GPU: 가장 빠름
2. GPU to CPU: 중간
3. GPU to Local NVMe: 느림
4. GPU to Object Storage: 가장 느림
처리량 (Qwen 2.5 기준):
"requires... a throughput per... model like such as this one,
between 18 gigabytes a second to 70 gigabytes"- 최소: 18 GB/s
- 최대: 70 GB/s
- Batch: 32 users (동시)
Distributed Inference
벤더 설명:
"if you're doing [distributed] inference, and you do this because
you want to be able to not have to recompute in conversations
every time"목적:
- 대화 컨텍스트 유지
- 재계산 방지
- KV Cache 재사용
Small Model
벤더 언급:
"If you're going to do smaller models... this math is way simpler"Computer Vision 모델:
- 훨씬 작음
- 단일 노드 처리 가능
4. 요구사항
4.1 현재 Inference
300 Agents
고객사 설명:
"as of today, inference... they're building 300 agents just for
today. So like, they will have a lot of requests... for inferences."현황:
- 300 AI Agents 운영 중
- 많은 Inference 요청
- 기존 GPU 사용 (MinIO 아님)
계획:
"which will be slowly moving to [MinIO] at the end [of] today"4.2 FDC (Fault Detection & Classification)
목적
고객사 설명:
"fault detection... for... semiconductor production... trying to
figure out... what's going on... to prevent you from having a fault"용도:
- 반도체 제조 공정
- 결함 감지 (Fault Detection)
- 결함 분류 (Classification)
- 실시간 분석
계획
고객사 설명:
"their plan is to... run this [fault] detection, FDC, live stream,
real time training and analysis going forward next year."타임라인:
- 2027년: 본격 운영
- Yongin AI Factory: 구축 중
- Real-time Training: 라이브 스트림
4.3 데이터 규모
5PB Training Dataset
고객사 설명:
"the data, or the training itself is already five petabytes...
They are starting from five petabytes"현재:
- 5PB: 학습 데이터셋
- 이미 준비됨
추가 5PB (Legacy)
"they have another five petabyte of data... which is stored...
outside of [AIStore]... like somewhere else in legacy."위치:
- Legacy 시스템
- AIStore 외부
15PB Archive
"they also have archival data, 15 petabyte, which is also stored
outside of [AIStore]."총계:
- Active: 5PB (AIStore)
- Legacy: 5PB
- Archive: 15PB
- 합계: 25PB
2027년 계획
고객사 설명:
"if you just think about 2027 they will have 10 petabytes of data
running in [MinIO] cluster with GPU. Five petabyte out of 10
petabyte will be [the] data for training."2027년 목표:
- 10PB: MinIO 클러스터
- 5PB: Training 데이터
- 5PB: 기타 (Inference, Archive)
4.4 워크로드 타입
Computer Vision (100%)
벤더 확인:
"if [the] inference is done around computer vision models.
Computer Vision models are way smaller and [can do] inference
in a single box"고객사 확인:
"computer vision. It will be 100%. It will be 100%"특성:
- 100% Computer Vision
- Smaller models (vs LLM)
- 단일 노드 처리 가능
- Distributed Inference 불필요
5. 스토리지 사이징
5.1 Training (Computer Vision)
처리량
벤더 설명:
"Computer Vision... you still need to stream but the amount of
data that you stream still 300 to 500 megabytes per [GPU]."Per GPU:
- 300~500 MB/s
- LLM보다 낮음
MinIO 클러스터 권장
벤더 권장:
"a simple [MinIO] cluster, roughly 40[to]45 nodes will be more
than enough... especially [with] 400 gigabit"권장 사양:
- 40~45 MinIO 노드
- Dual 400Gbps NICs
- 5~10PB 용량
NVMe 선택
벤더 설명:
"400 gigabit, [the] speed of the NVMe is shared... it can be
doubled on the same nodes, If you go to dual socket, as opposed
to single socket"권장:
- Single Socket CPU (단순성)
- 200Gbps per socket
- Computer Vision에 충분
5.2 Pool 구성
초기 Pool (50 nodes)
고객사 계획:
"what they're planning for [Yongin] cluster is they will have
15 [drives], 30 terabyte NVMe, [per node]."문제:
"the realistic issue is, there's no 30 terabyte NVMe. They're
working on it."Pool 0 계획:
- 50 nodes
- 15 drives/node (이상적)
- 30TB NVMe/drive (미출시)
- 용량: 2.53PB usable
다중 Pool
고객사 우려:
"getting the second pool at the same size will be almost impossible
because of budgets and protocols"계획:
- Pool 0: 50 nodes (크고 비쌈)
- Pool 1: 10~25 nodes (작음)
- Pool 2: 10 nodes (작음)
성능 영향
벤더 확인:
"the only requirement for subsequent pools is that the parity
value is similar... the size of the pool could be... larger
or it could be smaller."성능:
- Parity 동일 (예: EC 8:3): 필수
- Pool 크기 다름: 문제 없음
- Performance: Pool별 다르지만 acceptable
6. Yongin AI Factory
6.1 시설 계획
위치
고객사 설명:
"they're like, building this AI factory... [in] Yongin. It's a...
place in Korea"목적:
- FDC (Fault Detection)
- Real-time Training
- AI 모델 개발
인프라 문제
고객사 설명:
"we don't have electricity... They will need a [better]...
infrastructure... plants and everything. So they're considering
some other place."문제:
- 전력 부족: 대규모 GPU/Storage
- 대안 검토 중: 다른 위치
- 정부 승인: 필요
6.2 장기 비전 (3년 후)
고객사 계획:
"Eventually, at the end of... maybe... three years [forward],
they will have this... huge cluster... where they have like
3000 [storage] nodes... and they will have... 5000 nodes...
or maybe... starting from... 1000 nodes of GPU farm"목표 (2029년):
- Storage: 3,000 MinIO 노드
- GPU: 1,000~5,000 노드
- 위치: Yongin + Cheongju + 기타
- 통합: 단일 클러스터
네트워크
고객사 확인:
"they will also use [InfiniBand] as back end... for [GPU],
that's confirmed."- InfiniBand: GPU 노드 간
- Ethernet: Storage 연결
7. 하드웨어 권장사항
7.1 현재 문제
벤더 언급:
"the hardware that we recommended last time, being expensive is
one thing, but the second thing is... they can't even get it in
the market"문제:
- 고가: Exabyte급 하드웨어
- 품절: 30TB NVMe 미출시
- 납기: 긴 대기 시간
7.2 대안 (Texas Instruments 사례)
벤더 제안:
"my [customer] Texas Instruments... went with Cisco and Lenovo
because they had the seven and a half terabyte NVMe drives in
stock, because they bought [them] earlier."권장:
- 7.5TB NVMe: 재고 있음
- Cisco/Lenovo: 공급 가능
- 가격: 합리적
7.3 MinIO 노드 권장사항
Computer Vision Training
벤더 권장:
"roughly 40[to]45 nodes will be more than enough... especially
[with] 400 gigabit"사양:
- 40~45 nodes
- Dual 400Gbps NICs
- 7.5TB or 15TB NVMe (재고 확인)
- Single Socket CPU
용량
5~10PB 목표:
- Pool 0: 50 nodes (2.5PB usable)
- Pool 1: 25 nodes (1.25PB usable)
- Pool 2: 10 nodes (0.5PB usable)
- Total: ~4.25PB usable (EC 8:3 기준)
8. 네트워크 아키텍처
8.1 GPU → Storage
DGX 노드:
- 2x 400Gbps NICs
- Total: 800Gbps
MinIO 노드:
- 2x 400Gbps NICs
- Total: 800Gbps per node
8.2 처리량 계산
Training (Computer Vision)
Per GPU:
- 300~500 MB/s
Per DGX (8 GPUs):
- 2.4~4 GB/s
100 DGX:
- 240~400 GB/s total
MinIO (40 nodes):
- 40 x 800Gbps = 32,000Gbps = 4,000 GB/s
- 충분: 400 GB/s 대비
9. KV Cache 고려사항
9.1 필요성
벤더 설명:
"kb cache. Sometimes you don't even need it. People come ask
one question and they never come back. So restoring KV cache
is not something so needed."Computer Vision:
- KV Cache 불필요
- 단발성 Inference
- 대화 컨텍스트 없음
9.2 LLM (참고)
대규모 모델만 해당:
- Qwen 2.5: 610GB weights
- KV Cache: 대화 유지
- Distributed Inference: 필요
Computer Vision:
- 작은 모델
- 단일 노드 처리
- KV Cache 불필요
10. 액션 아이템
10.1 벤더 측 (MinIO/AIStore)
즉시 실행 (1주일 내)
-
GPU 워크플로우 문서
- Training vs Inference 비교
- Computer Vision 최적화
- 처리량 계산 공식
-
하드웨어 권장사항
- MinIO 노드 사양
- NVMe 드라이브 선택
- 네트워크 구성
-
사이징 가이드
- 40~45 nodes 상세 설계
- Pool 구성 전략
- 용량 계산
단기 (2주일 내)
- 성능 최적화
- Computer Vision 튜닝
- NVMe 설정
- 네트워크 최적화
10.2 고객사 측
즉시 실행
-
하드웨어 조달
- 30TB NVMe 출시 일정 확인
- 7.5TB/15TB 대안 검토
- Cisco/Lenovo 견적
-
인프라 준비
- Yongin 전력 승인
- 대체 위치 검토
- InfiniBand 네트워크
-
워크로드 명확화
- FDC 상세 요구사항
- Training 주기 확정
- Inference 동시 사용자 예측
단기 (Q2 2026)
-
Pilot 구축
- 초기 Pool (10~20 nodes)
- GPU 연결 테스트
- 성능 검증
-
데이터 마이그레이션
- 5PB Training 데이터 → MinIO
- Legacy 5PB 계획
- Archive 15PB 정책
중기 (2027년)
-
FDC Production
- Real-time Training
- 10PB 운영
- Yongin AI Factory 완공
-
확장
- Pool 추가 (목표 3,000 nodes by 2029)
- GPU Farm (1,000~5,000 nodes)
- Multi-site 통합
11. 예상 효과
11.1 성능
Computer Vision Training:
- 40~45 MinIO 노드로 충분
- 4,000 GB/s 처리량
- 100 DGX 지원 가능
예상:
- Training 시간 단축
- Real-time FDC 가능
11.2 비용
하드웨어:
- 7.5TB NVMe 사용 시 비용 절감
- Exabyte급 대비 합리적
운영:
- Single Socket CPU (단순성)
- Pool 크기 유연성 (예산 맞춤)
11.3 확장성
3년 비전:
- 3,000 Storage 노드
- 1,000~5,000 GPU 노드
- 통합 AI Factory
12. 위험 요소 및 완화
12.1 하드웨어 조달
위험
- 30TB NVMe 미출시
- 납기 지연
완화
- ✅ 7.5TB/15TB 대안
- ✅ Cisco/Lenovo 조기 발주
- ✅ 재고 확인
12.2 전력 인프라
위험
- Yongin 전력 부족
- GPU 클러스터 대규모
완화
- ✅ 정부 승인 추진
- ✅ 대체 위치 검토
- ✅ 단계적 구축
12.3 성능 검증
위험
- Computer Vision 처리량 미달
- Real-time FDC 지연
완화
- ✅ Pilot 테스트
- ✅ 성능 측정
- ✅ 튜닝
13. 참고 자료
13.1 NVIDIA 문서
- SuperPOD 스펙
- DGX Platform
- InfiniBand
13.2 MinIO 문서
- GPU Workload 최적화
- NVMe 설정
- 네트워크 튜닝
13.3 사례
- Texas Instruments
- Computer Vision Training
14. 결론 및 다음 단계
14.1 핵심 합의사항
- ✅ 100% Computer Vision (LLM 아님)
- ✅ 40~45 MinIO 노드 (충분)
- ✅ 7.5TB/15TB NVMe (대안)
- ✅ 2027년 10PB (목표)
- ✅ FDC Real-time (용도)
14.2 즉시 실행 항목
- 하드웨어 조달 (7.5TB NVMe)
- Yongin 전력 승인
- Pilot 구축 (10~20 nodes)
14.3 성공 기준
- ✅ 40~45 nodes로 100 DGX 지원
- ✅ Real-time FDC 운영
- ✅ 2027년 10PB 달성
- ✅ 2029년 3,000 nodes 확장
문서 버전: 1.0
최종 수정일: 2026년 2월 4일
다음 리뷰: Pilot 완료 후 (2026년 Q2)
부록: 주요 인용문
Training vs Inference
"training is predictable. You know how much data you [will be]
pulling... but on [inference], the math changes because of the models"Computer Vision
"if [the] inference is done around computer vision models.
Computer Vision models are way smaller and [can do] inference
in a single box"5PB Dataset
"the data, or the training itself is already five petabytes...
They are starting from five petabytes"MinIO 사이징
"a simple [MinIO] cluster, roughly 40[to]45 nodes will be more
than enough... especially [with] 400 gigabit"장기 비전
"they will have this... huge cluster... 3000 [storage] nodes...
and... 1000 nodes of GPU farm"
engineer