jupyter notebook GPU 연결하기(텐센트 클라우드)

1. 로그인

ssh ubuntu@[public ip address]

문구 뜨면 yes 입력

비밀번호 입력

2. update(꼭 해줘야되는 건 아님)

apt-get update

3. root 권한으로 접속

sudo su -

4. 리눅스용 아나콘다 설치

리눅스용 아나콘다 설치(터미널에 명령어 입력)

wget [https://repo.anaconda.com/archive/Anaconda3-2021.11-Linux-x86_64.sh](https://repo.anaconda.com/archive/Anaconda3-2021.11-Linux-x86_64.sh)

bash Anaconda3-2021.11-Linux-x86_64.sh

• Please, press ENTER to continue라는 문구가 뜨면 엔터입력
• 설명서 같은 게 나오는데 계속 엔터 입력(MORE)
• 계속 엔터 누르다보면 Do you accept the license terms? [yes|no] ... 라는 메시지가 나오는데 이때 yes 입력
• 그러면 경로 설정하는 단계로 넘어가는데 그냥 엔터 입력하면 default 경로로 입력됨
• 설치가 다 되면 installation finished.
  Do you wish the installer to initialize Anaconda3
  by running conda init? [yes|no] 위와 같은 메시지가 뜨고(초기화할 건지 물어보는 메시지) yes 입력
  
• 아나콘다 실제로 적용시키기 위해 일단 로그아웃 exit 입력
  • 다시 아래 명령어 입력해서 root로 접속

    sudo su - 

    ⇒ 다시 접속하면 위와 같이 앞에 (base) 가 생긴다!
    • base : conda를 실행하는 개발환경을 의미
  • conda version 확인

    conda —version

  • conda에 어떤 환경 있는지 확인

    conda env list 

5. GPU 설정

• version 정보 확인 https://www.tensorflow.org/install/source?hl=ko#gpu 위 페이지에서 테스트된 빌드 구성→ gpu 목록에서 어떤 버전이 있어야 하는지 확인한다.
  
• nvidia-smi 명령어 입력해서 설치되어 있는 버전 확인

  nvidia-smi 

• 파이썬 버전 확인 (가상환경에서 3.8로 맞춰줘야 함 )

  python —version

• cuda 버전 호환성 확인 https://docs.nvidia.com/deploy/cuda-compatibility/
  

⇒ 우리가 진행할 환경

• OS : Ubuntu Server 20.04 LTS 64bit
• GPU Driver : 450.102.04
• CUDA : 11.0
• cuDNN : 8.0
• Python : 3.8
• Tensorflow : tensorflow-2.4.0

6. CUDA Toolkit 설치 (생략)

https://developer.nvidia.com/cuda-toolkit-archive

위의 링크 들어가서 설치해야 하는 버전 선택하고 (우리는 11.0) 아래와 같이 옵션 선택해주면 밑에 터미널에 입력해야할 명령어를 알려준다.

7. cuDNN 설치(생략)

우리는 v8.0.5 에서 Linux [x86_64] 다운

⇒ 우리는 텐센트 클라우드에서 인스턴스 생성할 때 자동으로 생성했기 때문에 5,6 생략

8. 가상환경 만들기

• conda create -n tf-gpu python=3.8 tf-gpu라는 이름의 가상환경 생성(가상환경 이름은 마음대로 지으면 됨) python 버전 3.8로 생성
  
• conda env list 실행시켜보면 아까는 base만 있었는데 지금은 tf-gpu도 생김
  
• conda activate tf-gpu 우리가 만든 tf-gpu라는 가상환경으로 들어감
  • python —version 확인해보면 Python 3.8
  • 가상환경에서 빠져나올 땐 conda deactivate
  • 삭제는 conda remove -n tf-gpu —all

9. 텐서플로우 설치

pip install tensorflow==2.4

10. Pandas 설치

pip install pandas

⇒ 텐서플로우와 pandas 잘 설치되어있는지 확인 위해 python 에 import 하여 확인해본다

import tensorflow as tf
import pandas as pd
tf.version
print("# GPUs Available: ", len(tf.config.experimental.list_physical_devices('GPU'))) #GPUs

⇒ Available : 1 (사용할 수 있는 GPU가 1개있다는 뜻)

from tensorflow.python.client import device_lib
device_lib.list_local_devices()

확인 다했으면 quit() 쳐서 나오기

11. Jupyter notebook 설치

conda install jupyter

jupyter —version 

입력해서 설치 확인

jupyter notebook --generate-config

⇒ Writing default config to: /root/.jupyter/jupyter_notebook_config.py 여기에 설정파일 생겼음

ipython

In [1]: from notebook.auth import passwd

In [2]: passwd()

Enter password:

Verify password:

Out[2]: 'argon2:$#######################################################'

⇒ 이 output을 알고 있어야 함(메모해둘 것)

exit() 쳐서 나옴

vi /root/.jupyter/jupyter_notebook_config.py

• i 눌러서 아래의 내용 입력하고 esc :wq 눌러서 저장하고 나옴

c.NotebookApp.ip = ‘0.0.0.0’
c.NotebookApp.port = 8888
c.NotebookApp.password = ‘위에서 나온 키 값 입력’
c.NotebookApp.open_browser = False

• ‘위에서 나온 키 값 입력’은 위에 ‘argon2... ‘
• ‘0.0.0.0’ 은 복붙하면 값이 잘 인식이 안 될 수 있어 지우고 다시 한번 입력해줄 것

12. 포트 번호 rule 추가

• 생성했던 인스턴스 클릭해서 security groups클릭
• Rule preview → Edit Rules 클릭
• 들어가서 add rule 클릭
• 위 사진처럼 rule 추가

14. jupyter notebook 접속

jupyter notebook —allow-root

• 인터넷 창에 [public ip 주소]:8888 입력
• 11번에서 설정했던 비밀번호 입력