대규모 GPU 서버 컨테이너 설정 가이드
개요
회사에서 첨단 GPU 활용 지원 사업으로 B200 × 8개 서버 2대를 사용할 수 있게 되었다.
목표
- 대규모 GPU 서버 접속 문제 해결
- 버티컬 AI Corpus pretrain 성공
클라우드 업체: NHN (자잘한 이슈 문의는 NHN으로)
배경
- 2026년 02월 23일 업체 사용 설명회 진행, PDF 자료 제공
- 제약사항: 베타서비스 특성상 Docker로 서버를 올리기 때문에 Docker in Docker 불가
- vLLM 등 별도 도커 이미지 사용 불가 → 패키지 직접 설치 후 환경 구축 필요
컨테이너 생성 UI
핵심 정보 요약
1. 컨테이너 선택 시 유의사항
PyTorch 컨테이너
Ubuntu 24.04 기반, CUDA 13 계열 지원
| 컨테이너 이름 (Image Tag) | Python | PyTorch | CUDA | JupyterLab | VSCode |
|---|---|---|---|---|---|
rntier4-ngc-ubuntu2404-pytorch2508-vnc | 3.12.3 | 2.8 | 13.0 | 4.4.5 | 4.106.3 |
rntier4-ngc-ubuntu2404-pytorch2510-vnc | 3.12.3 | 2.9 | 13.0 | 4.3.6 | 4.106.3 |
rntier4-ngc-ubuntu2404-pytorch2512-vnc | 3.12.3 | 2.10 | 13.1 | 4.5.1 | 4.106.3 |
TensorFlow 컨테이너
OS·CUDA 버전이 이미지별로 상이하므로 확인 필요
| 컨테이너 이름 (Image Tag) | Python | TF | CUDA | JupyterLab | VSCode |
|---|---|---|---|---|---|
rntier4-ngc-ubuntu2204-tensorflow2410-vnc | 3.10.12 | 2.16 | 12.6 | 4.2.5 | 4.106.3 |
rntier4-ngc-ubuntu2404-tensorflow2412-vnc | 3.12.3 | 2.17 | 12.6 | 4.3.2 | 4.106.3 |
rntier4-ngc-ubuntu2404-tensorflow2502-vnc | 3.12.3 | 2.17 | 12.8 | 4.3.5 | 4.106.3 |
공통: 모든 컨테이너에 Tmux 3 기본 설치
체크포인트: Ubuntu 버전, 프레임워크 버전 → Python·CUDA 호환성 확인 필수. 나머지는 가상환경 구축 후 설치하면 됨.
2. VNC란?
VNC (Virtual Network Computing)
SSH는 터미널만 사용하는 반면, VNC는 마우스·GUI로 원격 제어하는 방식이다.
JupyterLab, VSCode 등을 웹 브라우저가 아닌 전용 뷰어로 접속할 때 사용한다.
포트 33000 의미
- 내부 통로: 33000번 포트가 화면 전송용으로 할당됨
- 접속 예시: IP가
59.150.32.1이면 VNC 뷰어에서59.150.32.1:33000입력
3. 수동복구 vs 자동복구
| 옵션 | 설명 |
|---|---|
| 자동복구 | 장애 발생 약 10분 후 자동 복구 시도. 컨테이너가 초기 상태로 되돌아갈 수 있음 |
매뉴얼: 자동 복구 사용 시 위 사항을 반드시 확인할 것.
서버 스펙
- 메모리: 1400GB
- IB (InfiniBand): 초고속 네트워크
컨테이너는 최대 2개 생성 가능 → 분산학습 구성 가능
폴더 구성
| 경로 | 설명 |
|---|---|
| 개인폴더 | NVMe 연결, OS 포함 |
| 내 워크스페이스 | NVMe 연결, OS 포함 |
| xtmp | NVMe 연결, 데이터 로딩 빠름. OS 미포함이라 공유 없이 읽기/쓰기 시 성능 우수 |
확인 시 모든 경로가 NVMe로 되어 있었음. SATA(sda, sdb)보다 빠름.
참고: NVMe는 대용량이 없음. 데이터 10TB 이상이면 SATA 사용 고려.
추가 설정
데이터 전송 포트
4주 지원 사업 기간 동안 데이터 백업 필수 → 다운로드용 포트 연결 권장
컨테이너 시작 명령 (Command)
학습용이면 기본값으로 충분. 서비스 운영 시 python main.py 또는 /bin/bash 등 지정.
컨테이너 포트: 동적 vs 고정
| 구분 | 동적 (Dynamic) | 고정 (Static) |
|---|---|---|
| 컨테이너 내부 포트 | 9999 (사용자 입력) | 9999 (사용자 입력) |
| 외부 접속 포트 | 매번 랜덤 | 항상 동일 |
| 용도 | 테스트 후 버릴 때 | 서비스 운영, 고정 주소 필요 시 |
| 편의성 | 접속할 때마다 포트 확인 | 한 번 설정 후 계속 사용 가능 |
환경 변수
서비스에 필요한 변수 설정 예시:
LANG=ko_KR.UTF-8
TZ=Asia/Seoul설정 완료 후
- 컨테이너 현황: 생성 여부 확인
- ">" 버튼: SSH 접속 정보 조회
- ">_" 버튼: 웹 터미널 접속
SSH 접속 예시
주의 : 키 다운로드시 재발급이 됨, 한명이 다운로드 후 공유
chmod 600 ./DCTN-0226172020-1_key && ssh -i ./DCTN-0226172020-1_key -o UserKnownHostsFile=/dev/null -o StrictHostKeyChecking=no -p 30001 hanskim@59.150.32.1옵션 설명
-o UserKnownHostsFile=/dev/null— known_hosts에 저장 안 됨-o StrictHostKeyChecking=no— 접속 시 "계속할까요?" 묻지 않음
누구나 AI를 할 수 있게 쉽게 설명하기!