TIL |

이슈1:

이슈 want_pid_memory referenced before assignment
근데 소스코드는 작동하는 소스코드인데 초기화 값이 없어서 에러...
내 생각엔 기존 값이 언제나 있었어 그런것 아닌가 싶긴한데

어쨌든
방법1. 물어본다
방법2. 소스코드에 바로 마운트하고 거기에 소스코드에 초기화 값을 지정한다
(근데 이건 내가 수정하는거잖아.. 그럼 의미 없지 않나)

일단 물어봐서 소스코드 수정하고 적용했는데..

그리고 프로메테우스- 그라파나- dcgm export dashbord 연결 완료

인스턴스

각 파드의 내부 ip 각 파드 별로 확인할 수 있음..
단 해당 gpu 파드가 여러개면 구분하기 어려울것 같음 DCGM Exporter
정확히 저 ip가 특정파드랑 연동된다는걸 알고 있어야 함...

대시보드 메트릭

항목	설명	왜 중요한가?	주의할 점
GPU Temperature	GPU 온도 (°C)	과열 여부를 판단하여 팬 속도 조절, 서멀 쓰로틀링 방지	80도 이상이면 위험. 90도 이상은 성능 제한 발생 가능
GPU Power Usage	현재 전력 사용량 (W)	과도한 전력 소모나 전력 제한 여부 확인	전력 제한 시 클럭 저하 발생 가능
GPU SM Clocks	Streaming Multiprocessor 클럭 (MHz)	연산 처리 속도 지표. 성능 저하 여부 확인	클럭이 낮아지면 thermal throttle 의심
GPU Utilization	전체 GPU 연산 유휴율 (%)	얼마나 GPU가 바쁘게 일하는지	낮으면 작업이 비효율적이거나 idle 상태
TensorCore Utilization	Tensor Core 사용률 (%)	딥러닝 연산에서 얼마나 tensor core를 사용 중인지	FP16 연산이 아닌 경우 낮을 수 있음
GPU Framebuffer Memory Used	사용 중인 GPU 메모리 (MiB 또는 %)	현재 작업이 차지하는 GPU 메모리	Out of memory(OOM) 에러 대비 필요
GPU Memory Utilization	GPU 메모리의 사용률 (%)	메모리 자원 효율 파악	메모리 누수 추적 가능

이슈 2 : T.T..

1. 마스터노드 메모리 올리고 리부팅을 했음
2. ip가 바뀌면서 ssh 연결과 kubeadm 연결이 풀림
3. 다시 ip를 연결하려고 했는데..... 그 과정에서 라우팅 게이트웨이 충돌이 난거 같음...슈밤바.. 이거 고칠 수 있을까?

이슈 원인

ens18의 IP가 192.168.8.49/24인데, 기본 게이트웨이로 192.168.1.1을 사용하려면 서브넷이 /16이어야 유효함.

/24로 되어 있어 ip route add default via 192.168.1.1이 실패하고, 결국 외부 인터넷으로 나가는 게 불가능했음.

[Match]
Name=ens18

[Network]
Address=192.168.8.49/16
Gateway=192.168.1.1
DNS=8.8.8.8

이슈3: edentns 내부 dns 안먹음...

==> 이거는 아까 디버깅하면서 kube-apiserver.yaml 파일을 제대로 원복 안해서 생긴 이슈였음.

이슈4: 다시 큐에러

큐 초기 선안 안되서 에러났는데.. 문제는 큐 초기 선언을 어느단에서 했는지 끝까지 못 찾음. 일단 소스코드(복사본) main.py에 넣어둠
channel.queue_declare(queue=i, durable=True)