환경설정 기록

Vaughan·2023년 5월 27일
0
post-thumbnail

anaconda 재설치

버전 문제랑 기본 파일 깨짐 등등 여러가지 문제로 죽어가길래 그냥 한번 갈아엎고자 conda를 재설치 했다.
설치할 때 환경변수 추가하는걸 까먹어서 실행이 인식 못하던 문제가 하나 있었다.

윈도우에서는

  1. 시스템 환경변수 편집 > 고급 > 환경변수에서
    a. 만약 본인이 현재 User에 대해서만 설정했다면 User 탭에서,
    b. 전체 User에 대해서 conda를 설치했다면 System 탭에서
  2. "Path" 변수를 더블클릭하고 다음 3개의 폴더를 추가해주면 된다.
    a. anaconda
    b. anaconda/Library
    c. anaconda/Scripts

추가를 완료한 뒤 다음 명령어를 통해 제대로 설치 되었는지 확인해보자.

conda --version

cuda version 확인

사용하는 GPU에 따라서 tensorflow-gpu의 권장 버전이 다르다는 이야기가 있기 때문에 cuda version을 확인했다.

cuda는 NVDIA에서 개발한 병렬 컴퓨팅 및 프로그래밍 모델로, NVIDA에서 제작한 GPU가 효율적인 병렬처리 연산을 할 수 있도록 지원하기 위한 소프트웨어이다.

CUDA version 확인하기

nvcc --version

-> 내가 사용하는 컴퓨터의 version은 11.3 인 것을 확인했다.
여기서 문제 :

그 외 알아두면 유용한 CUDA 명령어

GPU상태, 메모리 사용 등을 표기

nvidia-smi

자 이제 가상환경(들)을 만들어보자

가상환경 설정

만들기

conda create -n {가상환경이름} 

추가적인 다양한 옵션을 쓸 수 있다. 유용해 보이는 옵션만 몇개 적어본다.

  • python 버전 지정 python=버전

활성화 및 비활성화

conda activate {이름}

패키지 관리

pip이랑 conda를 사용할 수 있다. pip을 쓰면 서로 다른 버전때문에 발생하는 호환성 문제를 해결하지 않지만 대부분의 라이브러리를 지원하며, conda는 라이브러리를 설치할 때 호환성을 고려하여 설치해준다.
(*pip은 권한 문제가 발생할 수 있는데, 이때는 가장 뒤에 --user를 붙여주자.)

설치

특정 버전을 설치하고 싶다면,

  • pip : =={버전}
  • conda : ={버전}
pip install {라이브러리이름}
conda install {라이브러리이름} 

업그레이드

pip install --upgrade {라이브러리이름}
conda upgrade {라이브러리이름} 

삭제

pip uninstall {라이브러리이름}
conda remove {라이브러리이름} 

기타 명령어 들 (conda, pip)

현재 환경에 설치된 라이브러리 출력

conda list

가상환경 리스트

conda info --envs

가상환경 삭제

conda remove -n {가상환경이름} --all

실전도입

총 3개의 가상환경을 만들어야한다.
하나는 tensorflow를 사용하며, 다른 하나는 torch를 사용하고 마지막을 torch와 image처리와 관련된 다양한 응용을 사용하는 환경이다. tensorflow-gpu를 잘... 사용하고자한다.

GPU 못 찾음

버전문제가 아니었다. 그냥 지금 torch든지 tensorflow든지 그냥 GPU를 못 잡고 있다.
인줄 알았는데 tensorflow는 버전 문제가 맞았다. ㅋㅋㅋ CUDA 11.2까지 GPU를 지원하는 2.10버전을 사용하는데 내 컴퓨터에 깔려있는 CUDA는 11.3이고... 이거 한번 돌리고 다시는 안 쓸 tensorflow 사용하기 위해서 CUDA 재설치하는건 너무 낭비라고 생각하기 때문에 걍 pytorch만 잘 해보려고 한다.

해결하려는 과정을 써보려한다.

  1. cuDNN 활성화 여부 확인
if torch.backends.cudnn.enabled:
    print("활성화")
  1. CUDA version에 맞는 pytorch 설치하기
    https://download.pytorch.org/whl/cu113/torch_stable.html

나는 11.3이므로 cu113을 써두었다. 자신에게 맞는 버전으로 url를 바꾸면 된다.
해당 CUDA버전과 호환이 잘 되는 pytorch 버전을 찾아볼 수 있다.

하지만 문제가 읎음 -> ??

  1. 새로운 문제... nvcc-v로 확인한 CUDA버전이랑 nvidia-smi로 확인한 버전이 다르다.

    => 큰 문제 아니고 그냥 nvcc-v를 참고하라함...? 뭘까

ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 그냥 바보짓함...

당연히 나는 선배가 cuDNN설치 했을 줄 알았고 위에 코드도 True로 나오길래 음. 있구만 했었는데.. 아니었다. 위에 코드는 뭐지...? 써서는 안되는 코드인가 어이없음. 혹시나 해서 include, lib 라이브러리 가봤는데 cudnn 관련 파일들이 없었다... 그래서 다운 받고 추가해줬다.

미래에 도움 될 수 있으니까 설정 관련 정보 추가한다.

cuDNN 다운 받는 곳

https://developer.nvidia.com/rdp/cudnn-archive

-> 압축 파일을 받아서 생긴 lib, include, bin 폴더 안에 있는 파일들을 NVIDIA GPU ~~ > CUDA > v11.3에다가 옮겨준다.

CUDA 환경변수 설정하는 방법

사용자 환경변수의 Path에다가 아래 3개의 폴더를 추가해준다.

시스템 환경변수에는 CUDA 설치시 기본적으로 CUDA_PATH와 CUDA_PATH_V11_3이 만들어진다.

근데 왜 아직도 안됨?

💙 CUDA 사용을 위한 pytorch 설치 방법

CUDA 버전에 맞는 pytorch와 toolkit 설치하기

위 사이트에서 내가 사용하는 os, CUDA버전에 맞게 pytorch를 설치하는 방법이 나와있다. 나는 바보였고... cudatoolkit 도 함께 설치해줘야하는 걸 모르고 있었다.

KoBERT

koBERT를 사용하는 프로젝트가 하나 있는데 개발한 사람이 window를 고려안한건지 뭔지 잘 모르겠지만 mxnet이랑 trnasformer간에 numpy 버전 충돌이 있어서 계속 설치가 안되는 문제가 있었다.

https://github.com/SKTBrain/KoBERT/issues/84

위 issue를 참고하여 그냥 직접 설치명령어를 실행하니까 오류메시지가 나기는하는데 그래도 설치가 되긴한다.

profile
우주의 아름다움도 다양한 지식을 접하며 스스로의 생각이 짜여나갈 때 불현듯 나를 덮쳐오리라.

0개의 댓글