[DL][Docker] 도커로 CUDNN + CUDA + FensorFlow 환경 한번에 설치하기

Sunguk·2023년 2월 1일
0

1 . 환경설정

딥러닝을 시작할때 가장 큰 진입장벽은 환경설정입니다.

CUDA 와 CUDNN , TensorFlow 버전의 서로 간 호환성이 좋지 않기 때문에 초기 환경설정에 많은 시간과 노력이 들어갑니다.

따라서 환경설정에 들어가는 시간을 줄이고자 미리 CUDA, CUDNN , TensorFlow 의 환경설정이 완료된 이미지를 도커허브에서 pull 해와서 사용 해보겠습니다.

2. 사용된이미지

도커허브 : https://hub.docker.com/r/datamachines/cudnn_tensorflow_opencv

깃허브 : https://github.com/datamachines/cuda_tensorflow_opencv/tree/20220815

이미지의 pulls 는 100K 이상으로 많은 데이터관련 작업시 사용되고 있는듯 합니다

이미지의 버전 목록

Docker TagCUDACUDNNTensorFlowOpenCVUbuntuGithub LinkOpenCVTensorFlowFFmpegPyTorch
11.3.1_2.9.1_3.4.16-2022081511.3.18.2.02.9.13.4.1620.04https://github.com/datamachines/cuda_tensorflow_opencv/tree/20220815https://github.com/datamachines/cuda_tensorflow_opencv/blob/master/BuildInfo/cudnn_tensorflow_opencv-11.3.1_2.9.1_3.4.16-20220815/cudnn_tensorflow_opencv-11.3.1_2.9.1_3.4.16-20220815-OpenCV.txthttps://github.com/datamachines/cuda_tensorflow_opencv/blob/master/BuildInfo/cudnn_tensorflow_opencv-11.3.1_2.9.1_3.4.16-20220815/cudnn_tensorflow_opencv-11.3.1_2.9.1_3.4.16-20220815-TensorFlow.txthttps://github.com/datamachines/cuda_tensorflow_opencv/blob/master/BuildInfo/cudnn_tensorflow_opencv-11.3.1_2.9.1_3.4.16-20220815/cudnn_tensorflow_opencv-11.3.1_2.9.1_3.4.16-20220815-FFmpeg.txthttps://github.com/datamachines/cuda_tensorflow_opencv/blob/master/BuildInfo/cudnn_tensorflow_opencv-11.3.1_2.9.1_3.4.16-20220815/cudnn_tensorflow_opencv-11.3.1_2.9.1_3.4.16-20220815-PyTorch.txt
11.3.1_2.9.1_4.6.0-2022081511.3.18.2.02.9.14.6.020.04https://github.com/datamachines/cuda_tensorflow_opencv/tree/20220815https://github.com/datamachines/cuda_tensorflow_opencv/blob/master/BuildInfo/cudnn_tensorflow_opencv-11.3.1_2.9.1_4.6.0-20220815/cudnn_tensorflow_opencv-11.3.1_2.9.1_4.6.0-20220815-OpenCV.txthttps://github.com/datamachines/cuda_tensorflow_opencv/blob/master/BuildInfo/cudnn_tensorflow_opencv-11.3.1_2.9.1_4.6.0-20220815/cudnn_tensorflow_opencv-11.3.1_2.9.1_4.6.0-20220815-TensorFlow.txthttps://github.com/datamachines/cuda_tensorflow_opencv/blob/master/BuildInfo/cudnn_tensorflow_opencv-11.3.1_2.9.1_4.6.0-20220815/cudnn_tensorflow_opencv-11.3.1_2.9.1_4.6.0-20220815-FFmpeg.txthttps://github.com/datamachines/cuda_tensorflow_opencv/blob/master/BuildInfo/cudnn_tensorflow_opencv-11.3.1_2.9.1_4.6.0-20220815/cudnn_tensorflow_opencv-11.3.1_2.9.1_4.6.0-20220815-PyTorch.txt
11.6.2_2.9.1_3.4.16-2022081511.6.28.4.02.9.13.4.1620.04https://github.com/datamachines/cuda_tensorflow_opencv/tree/20220815https://github.com/datamachines/cuda_tensorflow_opencv/blob/master/BuildInfo/cudnn_tensorflow_opencv-11.6.2_2.9.1_3.4.16-20220815/cudnn_tensorflow_opencv-11.6.2_2.9.1_3.4.16-20220815-OpenCV.txthttps://github.com/datamachines/cuda_tensorflow_opencv/blob/master/BuildInfo/cudnn_tensorflow_opencv-11.6.2_2.9.1_3.4.16-20220815/cudnn_tensorflow_opencv-11.6.2_2.9.1_3.4.16-20220815-TensorFlow.txthttps://github.com/datamachines/cuda_tensorflow_opencv/blob/master/BuildInfo/cudnn_tensorflow_opencv-11.6.2_2.9.1_3.4.16-20220815/cudnn_tensorflow_opencv-11.6.2_2.9.1_3.4.16-20220815-FFmpeg.txthttps://github.com/datamachines/cuda_tensorflow_opencv/blob/master/BuildInfo/cudnn_tensorflow_opencv-11.6.2_2.9.1_3.4.16-20220815/cudnn_tensorflow_opencv-11.6.2_2.9.1_3.4.16-20220815-PyTorch.txt
11.6.2_2.9.1_4.6.0-2022081511.6.28.4.02.9.14.6.020.04https://github.com/datamachines/cuda_tensorflow_opencv/tree/20220815https://github.com/datamachines/cuda_tensorflow_opencv/blob/master/BuildInfo/cudnn_tensorflow_opencv-11.6.2_2.9.1_4.6.0-20220815/cudnn_tensorflow_opencv-11.6.2_2.9.1_4.6.0-20220815-OpenCV.txthttps://github.com/datamachines/cuda_tensorflow_opencv/blob/master/BuildInfo/cudnn_tensorflow_opencv-11.6.2_2.9.1_4.6.0-20220815/cudnn_tensorflow_opencv-11.6.2_2.9.1_4.6.0-20220815-TensorFlow.txthttps://github.com/datamachines/cuda_tensorflow_opencv/blob/master/BuildInfo/cudnn_tensorflow_opencv-11.6.2_2.9.1_4.6.0-20220815/cudnn_tensorflow_opencv-11.6.2_2.9.1_4.6.0-20220815-FFmpeg.txthttps://github.com/datamachines/cuda_tensorflow_opencv/blob/master/BuildInfo/cudnn_tensorflow_opencv-11.6.2_2.9.1_4.6.0-20220815/cudnn_tensorflow_opencv-11.6.2_2.9.1_4.6.0-20220815-PyTorch.txt

3. 설치 명령어

docker pull datamachines/cudnn_tensorflow_opencv:11.6.2_2.9.1_4.6.0-20220815

4. 이후 필수 라이브러리 설치

  1. 젠심
    젠심(Gensim)은 머신 러닝을 사용하여 토픽 모델링과 자연어 처리 등을 수행할 수 있게 해주는 오픈 소스 라이브러리입니다.
#  젠심 설치
pip install gensim
  1. NLTK와 NLTK Data 설치
    엔엘티케이(NLTK)는 자연어 처리를 위한 파이썬 패키지입니다. 보통
    아나콘다에 설치되어있지만 이 환경에서는 없기 때문에 설치합니다
# NLTK와 NLTK Data 설치
pip install nltk
  1. KoNLPy 설치

    코엔엘파이(KoNLPy)는 한국어 자연어 처리를 위한 형태소 분석기 패키지입니다.
    우리는 한국인이기떄문에 ... 꼭 설치합시다.

    ps) 참고로 KoNLPy 의 경우 우분투 지원 버전이 다르지만

    아직까지 문제 발생하지 않음

pip install konlpy
  1. 판다스프로파일링 설치

EDA(Exploratory Data Analysis, 탐색적 데이터 분석)를 위한 라이브러리 설치

pip install -U pandas-profiling

5. 마무리

자 이제 환경이 잘 구축 되었기 때문에 즐겁게 ai 를 사용해봅시다!!

profile
안녕하세요

0개의 댓글