Tensorflow, Pytorch 환경 구성 (Conda Env)

Anaconda 환경에서 TF 및 pytorch 가상 환경 구축 방법을 기록한다.

기준 환경

• RTX A6000 (Ampere Arch)
• Nvidia driver 470.xx 이상 설치
• CUDA 11.x 이상 설치
• Anaconda 환경
• Ubuntu 20.04 LTS

Nvidia Driver는 항상 Host에 설치되어 있어야 하고 CUDA는 가상 환경내에서 CUDA + cuDNN 을 별도 설치 관리 할 수 있다면 Host에 CUDA + cuDNN 설치가 필요 없다. 하지만 가상 환경 내에서도 Host CUDA와 cuDNN을 사용할 수 있도록 설정 할 수 있으므로 두 가지 방식 모두 활용 한다.

NVIDIA Driver, CUDA, cuDNN 설치 및 설정 전 이라면 다음 글을 참고 할 것.
DL 환경 설정 - Nvidia driver / CUDA toolkit / cuDNN 설치

🏁 기본 사항

• jupyter kernel 등록
  jupyterlab에서 conda env를 인식하게 하려면 env를 생성할때 다음과 같이 ipykernel을 추가 설치해주면 된다.

# if there is no nb_conda in Base Env, install it.
conda install nb_conda

conda create -n env_name python=3.8 ipykernel

• python compatibility
  Conda Env를 생성시 TF, torch의 각 버전 별로 지원가능한 python 버전을 기록해두었으니 필요 버전을 적절히 변경하여 적용한다.

🏁 Tensorflow 환경

현재 셋업된 환경에서는 TF환경을 Conda에 의해 CUDA 및 cuDNN을 완벽히 독립적으로 운영하지 못하는 한계가 있다.
따라서 Host에 설치된 CUDA와 cuDNN을 활용하여 Conda환경을 구성하는 방법으로 진행한다.

tensorflow-gpu 2.7 (wheel)

tensorflow 2.7
cuda 11.2
cudnn 8
python 3.7~3.9

conda create -n tf_gpu27 python=3.8 ipykernel

conda activate tf_gpu27
pip install tensorflow-gpu==2.7

tensorflow-gpu 2.6.2 (wheel)

tensorflow 2.6.2
cuda 11.2
cudnn 8
python 3.6~3.9

conda create -n tf_gpu26 python=3.8 ipykernel

conda activate tf_gpu26
pip install tensorflow-gpu==2.6.2

tensorflow-gpu 2.5.2 (wheel)

tensorflow 2.7
cuda 11.2
cudnn 8
python 3.6~3.9

conda create -n tf_gpu25 python=3.8 ipykernel

conda activate tf_gpu25
pip install tensorflow-gpu==2.5.2

tensorflow-gpu 2.4.4 (wheel)

tensorflow 2.4.4
cuda 11.0
cudnn 8
python 3.6~3.8

conda create -n tf_gpu24 python=3.8 ipykernel

conda activate tf_gpu24
pip install tensorflow-gpu==2.4.4

tensorflow-gpu < = v2.3.x

v2.3.x 이하 버전은 CUDA 11.x 이상 버전을 지원 하지 않아서 ampere arch에서 사용 불가함.

🏁 Pytorch 환경

https://pytorch.org/
https://pytorch.org/get-started/previous-versions/

추천 버전: v1.10 Stable 및 v1.8.2 LTS

pytorch 1.10 Stable

pytorch 1.10.1
cuda 11.3
cudnn 8.2
python 3.6~3.9

conda create -n torch110 python=3.8 ipykernel

conda activate torch110
conda install pytorch=1.10.1 torchvision=0.11.2 torchaudio=0.10.1 cudatoolkit=11.3 -c pytorch

pytorch 1.9

pytorch 1.9.0
cuda 11.1
cudnn 8.0.0.5
python 3.6~3.9

conda create -n torch109 python=3.8 ipykernel

conda activate torch109
conda install pytorch=1.9.0 torchvision=0.10.0 torchaudio=0.9.0 cudatoolkit=11.1 -c pytorch -c conda-forge

pytorch 1.9 (wheel)

pytorch 1.9.0
cuda 11.1
cudnn 8.0.0.5
python 3.6~3.9

conda create -n torch109-wheel python=3.8 ipykernel

conda activate torch109-wheel
pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 torchaudio==0.9.0 -f https://download.pytorch.org/whl/torch_stable.html

pytorch 1.8.2 LTS

pytorch 1.8.2
cuda 11.1
cudnn 8.0.0.5
python 3.6~3.8

conda create -n torch108 python=3.8 ipykernel

conda activate torch108
conda install pytorch torchvision torchaudio cudatoolkit=11.1 -c pytorch-lts -c nvidia

pytorch 1.8.2 LTS (wheel)

pytorch 1.8.2
cuda 11.1
cudnn 8.0.0.5
python 3.6~3.8

conda create -n torch108-wheel python=3.8 ipykernel

conda activate torch108-wheel

pip3 install torch==1.8.2+cu111 torchvision==0.9.2+cu111 torchaudio==0.8.2 -f https://download.pytorch.org/whl/lts/1.8/torch_lts.html

pytorch 1.7

pytorch 1.7.1
cuda 11.0
cudnn 8.0.0.5
python 3.6~3.8

conda create -n torch_gpu107 python=3.8 ipykernel

conda activate torch_gpu107
conda install pytorch=1.7.1 torchvision=0.8.2 torchaudio=0.7.2 cudatoolkit=11.0 -c pytorch

pytorch 1.7 (wheel)

pytorch 1.7.1
cuda 11.0
cudnn 8.0.0.5
python 3.6~3.9

conda create -n torch_gpu107-wheel python=3.8 ipykernel

conda activate torch_gpu107-wheel
pip install torch==1.7.1+cu110 torchvision==0.8.2+cu110 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html

pytorch < = v1.6.0

v1.6.0 이하 버전은 CUDA 11.x 이상 버전을 지원 하지 않아서 ampere arch에서 사용 불가함.

🏁 R 환경

(R kernel은 검증중)

conda create -n r_env r-essentials r-base