[Lab] gpu 백그라운드 학습&중단(nohup)

🚀LLM 학습을 백그라운드에서 학습과 중단하자

환경

운영체제: ubuntu 22.04
GPU: nvidia a6000

문제

학습을 시키고 있는데, PC 모니터를 끄면 학습도 멈춘다😭

🕵해결방법: nohup으로 실행해보자

nohup을 사용하면 된다.

1. nohup로 train.sh 파일을 실행

setsid nohup bash finetune.sh > output.log 2>&1 &

2. 원하는만큼의 로그를 실시간으로 출력하기

tail -n 400 -f output.log
#400을 원하는 만큼으로 수정하자

🕵해결방법:nohub을 종료해보자

ps aux
	#모든 프로세스 보여줌
	#종료하려는 nohub 프로세스의 PID 확인한다.
    #gpu가 4개여서 4개가 뜬다.

kill -9 <PID1> <PID2> <PID3> <PID4>	
	# 삭제명령 실행
    # '-9' 는 강제 종료라는 의미
	# 한꺼번에 다 죽이자

결과

출처 및 참고
[1]jg-han
[2]bcp0109