
gpustat로 확인한 GPU 가용량보다 할당하려는 메모리가 더 큰 상황.
해결책 :
nvidia-smi으로 확인된 프로세스를 해당 명령어로 강제 중단
taskkill /PID 15964(pid) /F #윈도우 해당 프로세스 강제 중단
sudo kill -9 29176(pid) #서버 리눅스 해당 프로세스 강제 중단
또는 batch size나 데이터 셋 크기를 줄이면 해결 된다.
이 방법이 가장 편하지만 성능 보장은 못 한다는 점이 있다.