Failed to initialize NVML: Driver/library version mismatch NVML library version: 535.183

현상

• nvidia-smi 하니 발생함.

• Portainer 깔아보려고 apt-get update, apt-get upgrade 했더니 발생함

• "NVML을 초기화하지 못했습니다."

• 오류: 드라이버/라이브러리 버전 불일치" 오류는 일반적으로 NVIDIA 드라이버 버전과 시스템에 설치된 NVIDIA 관리 라이브러리(NVML)의 버전이 일치하지 않을 때 발생함.

으악 제일 싫어하는 에러! 이 에러

개념

• Cuda Version에는 2가지가 있음.

1. runtime api

CUDA Toolkit에 의해 설치됨.

2. Driver API

• 엔비디아 드라이버로 설치되는 버전.
• nvidia-smi로 확인 되는 버전은 Driver API

원인

• apt-get upgrade 과정에서 엔비디아 드라이버 버전이 업데이트 되어 버린 듯 ......
• 근데 CUDA Toolkit은 깔지도 않았는데 ...

해결

1. 일단 재부팅 해보라고 함.
   -> rmmod해서 로그인 풀리고 터미널 다 꺼진 김에 걍 재부팅해버렸는데 해결됨ㅋㅋㅋㅋㅋ헐
   https://stackoverflow.com/questions/43022843/nvidia-nvml-driver-library-version-mismatch

2. 커널에서 언로드
   저기서 두번째 방법임. (https://jaeyung1001.tistory.com/entry/Nvidia-Error-NVIDIA-NVML-Driverlibrary-version-mismatch%EC%97%90%EB%9F%AC-%ED%95%B4%EA%B2%B0)

rmmod 사용.. -> 엇.......로그인이 풀려버림..??!!!!!!!?? -> 그냥 재부팅

ETC

전에도 비슷한거 문제가 발생한 적이 있었는데 그 땐 더 꼬여서 아예 뭔가 커널 관련 파일을 삭제함....
https://velog.io/@sandartchip/Failed-to-initialize-NVML-Driverlibrary-version-mismatch-%EC%97%90%EB%9F%AC