cuda 연결하기

0. NVIDIA GPU가 있어야 사용 가능
   윈도우에서 내 GPU 확인하기

nvidia-smi

2. 아키텍쳐 확인
   https://en.wikipedia.org/wiki/CUDA#GPUs_supported
   

3. 아키텍쳐에 맞는 CUDA 버전 확인
   

본인은 11.1~12.5까지 가능

4. CUDA 버전 및 파이썬 버전에 맞는 Pytorch 버전 확인
   https://github.com/pytorch/pytorch/blob/main/RELEASE.md#release-compatibility-matrix
   

결론 : CUDA 12.1 | CUDNN 9.1.0.70 | Pytorch 2.4 | Python 3.12

5. CUDA 설치
   https://developer.nvidia.com/cuda-toolkit-archive

6. CUDA 설치 확인 명령어

nvcc --version

7. 설치할 때 입력한 경로와 실제 설치된 경로가 다르다는 것을 헤매다 블로그를 통해 알게됨. exe로 설치해서 그런듯

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1

8. CUDNN도 설치
   https://developer.nvidia.com/rdp/cudnn-archive

9. 설치된 zip파일의 압축을 해제하고, 안에 있는 bin, include, lib, LICENSE를 전부 복사해서 CUDA에 덮어쓰기

10. 버전에 맞는 Pytorch 설치
    https://pytorch.org/get-started/locally/
    
    밑에 나오는 명령어 가상환경에서 실행

11. Pytorch 버전 확인

import torch
print(torch.__version__)

12. GPU 연결 확인

USE_CUDA = torch.cuda.is_available()
device = torch.device('cuda:0' if USE_CUDA else 'cpu')

print('CUDA 사용 가능 여부 :', USE_CUDA)
print('현재 사용 device :', device)
print('CUDA Index :', torch.cuda.current_device())
print('GPU 이름 :', torch.cuda.get_device_name())
print('GPU 개수 :', torch.cuda.device_count())