DataNode 어디있어!!

록스블로그·2023년 10월 24일
0

EMR NameNode에서 DataNode 정보를 찾고 싶다

데이터 적제는 아직 이루어지지 않았고 hdfs name node 에서 확인은 가능하다.. 그런데 terminal 내부에서 찾고싶다.

Heartbeat report 에서는 (hdfs dfsadmin -report) 정보를 확인할 수 있으나. EMR default로 생성되는 hdfs-site.xml 에서는 확인할 수 없다.. 대체 그 정보는 어디에 있는걸까?

Live datanodes (2):

Name: *:9866 (*)
Hostname: *
Decommission Status : Normal
Configured Capacity: 62245027840 (57.97 GB)
DFS Used: 23654400 (22.56 MB)
Non DFS Used: 1488666624 (1.39 GB)
DFS Remaining: 60598489171 (56.44 GB)
DFS Used%: 0.04%
DFS Remaining%: 97.35%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 3
Last contact: Tue Oct 24 11:29:42 UTC 2023
Last Block Report: Tue Oct 24 10:41:27 UTC 2023
Num of Blocks: 91


Name: *:9866 (*)
Hostname: *
Decommission Status : Normal
Configured Capacity: 62245027840 (57.97 GB)
DFS Used: 1032192 (1008 KB)
Non DFS Used: 1477332992 (1.38 GB)
DFS Remaining: 60364009721 (56.22 GB)
DFS Used%: 0.00%
DFS Remaining%: 96.98%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 7
Last contact: Tue Oct 24 11:29:43 UTC 2023
Last Block Report: Tue Oct 24 10:16:07 UTC 2023
Num of Blocks: 118
profile
어려움에 성장하는 데이터 엔지니어

0개의 댓글