자연어 처리 작업 환경 구축 정리😎

oune·2021년 2월 6일
5

자연어 처리

목록 보기
1/1

학교에서 방학마다 자연어 처리 프로젝트를 하곤 하는데
이번 방학에는 버트를 활용하게 되어 설치를 시작하게 되었는데.
버전 호환성 문제로 계속해서 설치와 제거를 반복하게 되었다.
반복해서 설치와 제거를 하면서 필요한 명령어를 정리 해보았다.

https://theorydb.github.io/dev/2020/02/14/dev-dl-setting-local-python/#cuda-101-%EC%84%A4%EC%B9%98
딥러닝 개발 환경 구축에 정말 많이 도움이 되었던 게시글

✨그래픽 카드의 쿠다 버전확인

https://developer.nvidia.com/cuda-gpus
그래픽 카드가 쿠다를 지원하는지 확인하는 링크

그래픽 카드가 쿠다를 지원하는지, 설치할 파이토치나 텐서 플로우가 최신 쿠다 버전을 지원하지 않는 경우도 존재 하므로, 너무 최신이 아닌 적당히 예전 버전의 쿠다를 설치하는것이 좋았다.
지금 상환에서는 최대 10.2를 설치하는 것이 좋았다. (2021.1 기준)

✨쿠다 버전에 맞는 cuDNN 설치

cuDnn 을 설치하는 과정에서는 큰 문제가 발생하지 않았다. 앞에서 설치한 쿠다 버전에 맞는 버전만 설치했더니 큰 문제 없이 넘어가게 되었다.

#설치된 구다의 버전을 확인하는 명령어
nvcc --version


주피터 노트북의 경우에는 오른쪽 상단의 New 에서 터미널을 이용하여 편하게 사용할 수 있다.

✨아나콘다 설치후 설정

미리 작업 환경을 만들어 두면 코드별로 다른 커널을 이용해서 개발할 수 있는 장점이 있었다.

# 가상환경을 만드는 명령어
conda create -n [가상환경 이름] python=[파이썬 버전]
# 만든 가상환경을 사용하는 명령어
activate [가상환경 이름]
# 존재하는 가상환경을 조회 하는 명령어
conda env list
# 가상환경 삭제
conda remove --name [가상환경 이름] --all
# 가상환경을 사용하는 커널을 만드는 명령어
python -m ipykernel install --user --name [가상환경 이름] --display-name "[커널명에 표시할 이름]"
# 커널 삭제
jupyter kernelspec uninstall [커널이름]

✨텐서플로우/ 파이토치 설치

https://www.tensorflow.org/
텐서플로우 주소
https://pytorch.org/
파이 토치 주소
파이토치 의 경우 설치시 쿠다 버전이 0.1 차이도 맞춰서 설치해야 했다.

✨필요 라이브러리 설치

가상환경이 활성화 한 상태에서 라이브러리를 설치하면 해당 가상환경에서만 사용할수 있다.
가상환경이 활성화 되지 않은 상태에서는conda -n [가상환경 이름] 명령어를 이용할 수 있다.

✨주피터 노트북 원격 접속 설정

# 비밀번호 암호화, 결과물을 주피터 노브북 결과에 복붙
from notebook.auth import passwd
passwd()
# 주피터 노트북 설정파일 생성
jupyter notebook --generate-config
# 사용자계정 디렉토리의 .jupyter 디렉토리에서 jupyter_notebook_config.py 에 불여넣기
c.NotebookApp.ip = '*'					# 주피터 노트북의 아이피
c.NotebookApp.password = 'sha1:SHA_VALUES'		# 비밀번호
c.NotebookApp.password_required = True			# 비밀번호 요구
c.NotebookApp.port = 2800				# 접속 할때 쓸 포트
c.NotebookApp.notebook_dir = 'D:\newDIr'		# 디렉토리 주소
profile
어느새 신입 개발자

0개의 댓글