GPU 사용 환경 설정 with CUDA, cuDNN

Deep Learning 학습을 위한 GPU 환경 설정 과정

1. GPU 모델 확인

GPU 모델에 따라 설치해야하는 CUDA와 cuDNN 버전이 다름
→ GPU 확인 부터 시작!!

PC 환경을 확인하고 설치해야 호환성 문제 발생하지 않음

• RTX 4070 Ti

2. NVIDIA 그래픽 드라이버 설치

NVIDIA 그래픽 드라이버 설치
드라이버는 GPU에 맞는 것 검색 후 설치

설치 완료는 nvidia-smi로 확인 가능

3. compute capability 확인

compute capability

그래픽카드 검색 → 제일 좌측이 compute capability

GPU의 compute capability에 맞는 CUDA SDK version 확인
CUDA SDK version 확인

4. CUDA version 확인

Pytorch and Tensorflow → CUDA version 확인
* ubuntu에서는 tensorflow 기준으로 version을 맞추는 것이 편했음

[Tensorflw cuda version 확인]

tensorflow 각 버전 별로 사용 시에 필요한 cuDNN과 CUDA 버전 확인 가능
* Windows에서는 tensorflow-gpu는 2.10 이하 버전만 지원 (23.09)

• tensorflow-gpu 2.10.0 기준
  → cuDNN : 8.1 / CUDA : 11.2

[Pytorch cuda version 확인]

PC 환경에 맞는 version 확인

현재 stable version이 설치 가능하면 진행
or 사용하고자 하는 cuda version에 맞는 이전 pytorch version 찾기

pytorch를 좀 더 자주 사용하기도 하고,
요구되는 cuda version이 pytorch가 높아서 pytorch 기준으로 cuda 설치를 진행 함

• pytorch 2.0 기준
  → CUDA 11.7 or CUDA 11.8

* 현재 CUDA version 확인 : nvcc --version
잘 설치되었다면 아래 그림과 같이 현재 설치된 버전을 확인할 수 있음

5. CUDA Toolkit 설치

* 호환되는 version 찾는 것 중요

사용하고자 하는 pytorch or tf version에 호환되는 CUDA 버전에 맞춰 CUDA Toolkit download
→ CUDA Toolkit 11.8.0 download 했음

[CUDA Toolkit 설치]

6. cuDNN 설치

NVIDIA developer에 가입 후 download
[NVIDIA cuDNN Archive link]

위 다운로드 링크에서
설치한 cuda version과 호환되는 cudnn 다운로드 후 설치

설치한 cuda 11.8에 맞는 cuDNN 중 8.8 설치
(좀 더 안정화된 버전을 설치하고자 했음)

다운로드 후 압축 해제
→ 압축 해제한 폴더 내부에 있는 모든 파일을 복사 (bin, include, lib)
→ CUDA Toolkit이 설치된 폴더에 모두 붙여넣기
* (windows) cuda toolkit 설치 시에 default path로 설정했을 때의 경로
C: / Program Files / NVIDIA GPU Computing Toolkit / CUDA / v11.8

7. 환경 변수 설정 (windows)

사용자 변수 : 현재 사용자에게 적용되는 변수
시스템 변수 : 같은 시스템을 사용한는 모든 사용자 모두에게 적용되는 변수

우선 적용 순위
: 사용자 변수 > 시스템 변수

but 수정하려 하는 Path 변수는 예외
Path 변수는 추가되어 있는 변수들을 위에서부터 우선 순위를 두고 적용
* 현재 두 가지의 python 버전과 가상 환경을 사용 중이기 때문에 확인이 필요한 사항
아래 경우 python 3.9보다 python 3.7에 우선 순위

Path 변수에 cuda toolkit의 모든 폴더를 추가 (사용자 변수 path에 추가했음)
: toolkit 내의 bin, include, lib까지의 경로를 추가 (lib까지인지 x64까지인지 확인 필요)

환경 변수 수정 후에는 다시 시작

* 기회가 되면 Ubuntu에서 CUDA 설정 과정 추가 기록 예정