ubuntu 22.04 cuda 12.1 설치 & git LFS (GREEDOT 24-02-16)

TODO

1. azure gpu 달린 가상머신 열 것. 😢
2. 감정분석 => 감정리포트 백엔드 작업 😢
3. 파일업로드 테스트(목오브젝트 사용) 😢

진전 없는 하루..

• https://github.com/GreeDot/predict-emotion
• azure에서 이미 pytorch와 cuda 이것저것 다 깔린 가상머신 오픈해서 해보려고 했는데, 하루종일 거의 아무것도 못했다.
• 일단 새로 ubuntu 22.04 서버를 개설해 처음부터 다시 까는 것이 나을 것 같다.

✔ ubuntu 22.04 cuda 12.1 설치

1. ubuntu 업그레이드

sudo apt update
sudo apt upgrade
sudo apt install build-essential dkms
sudo apt install linux-headers-$(uname -r)

2. CUDA Toolkit 12.1 Downloads

• https://developer.nvidia.com/cuda-12-1-0-download-archive?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=22.04&target_type=deb_network
• 아래 반드시 cuda-<버전>으로 설정해주어야한다.

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.0-1_all.deb
sudo dpkg -i cuda-keyring_1.0-1_all.deb
sudo apt-get update
sudo apt-get -y install cuda-12-1

3. 환경 변수 설정

echo 'export PATH=/usr/local/cuda-12.1/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

4. nvidia 드라이버 설치

4-1) ubuntu-drivers-common 설치

sudo apt install ubuntu-drivers-common
sudo ubuntu-drivers autoinstall
sudo reboot

4-2) nvidia-smi

nvidia-smi

• 다음과 같이 nvidia-utils-버전 이 나오면 성공이다.

azure-user@ai-service:~$ nvidia-smi
Command 'nvidia-smi' not found, but can be installed with:
sudo apt install nvidia-utils-390         # version 390.157-0ubuntu0.22.04.2, or
sudo apt install nvidia-utils-418-server  # version 418.226.00-0ubuntu5~0.22.04.1
sudo apt install nvidia-utils-450-server  # version 450.248.02-0ubuntu0.22.04.1
sudo apt install nvidia-utils-470         # version 470.223.02-0ubuntu0.22.04.1
sudo apt install nvidia-utils-470-server  # version 470.223.02-0ubuntu0.22.04.1
sudo apt install nvidia-utils-525         # version 525.147.05-0ubuntu0.22.04.1
sudo apt install nvidia-utils-525-server  # version 525.147.05-0ubuntu0.22.04.1
sudo apt install nvidia-utils-535         # version 535.129.03-0ubuntu0.22.04.1
sudo apt install nvidia-utils-535-server  # version 535.129.03-0ubuntu0.22.04.1
sudo apt install nvidia-utils-510         # version 510.60.02-0ubuntu1
sudo apt install nvidia-utils-510-server  # version 510.47.03-0ubuntu3

4-3) R535 설치

sudo apt install nvidia-utils-535 

r535 설치 이유 : https://learn.microsoft.com/ko-kr/azure/virtual-machines/linux/n-series-driver-setup

5. nvidia 드라이버 설치

• https://learn.microsoft.com/ko-kr/azure/virtual-machines/linux/n-series-driver-setup

• 다음 사이트에서 NVIDIA vGPU 16.3, driver branch R535(.exe)를 다운로드 받아 ssh로 ubuntu로 옮겨주도록 하자.

scp -i ~/.ssh/id_rsa.pem NVIDIA-Linux-x86_64-535.154.05-grid-azure.run azure-user@20.214.136.176:~

• 실행

sudo bash NVIDIA-Linux-x86_64-535.154.05-grid-azure.run

✔ git LFS

• 학습된 모델이 너무 커서(300메가) 한 번에 깃허브에 올리지 못하는 문제가 발생하여 LFS를 사용하어 업로드 하였다.

git lfs 설치

sudo apt-get update
sudo apt-get install git-lfs

git lfs pull

• lfs로 파일이 올라간 레포지토리를 clone하고, lfs를 pull받는 과정을 진행하면 된다.

git lfs pull