संपादित करने के लिए काफी समय लग रहा है संपादित करें: अंततः मुझे पता चला कि समस्या क्या थी। कुछ फाइलों में बहुत अधिक प्रतिकृति कारक सेट था, और मैं अपने क्लस्टर को 2 नोड्स में कम कर रहा था। एक बार जब मैंने उन फ़ाइलों पर अपने प्रतिकृति कारक को कम कर दिया, तो decommissioning सफलतापूर्वक समाप्त हो गया।हाडोप नोड को
मैं नोड dfs.hosts.exclude और mapred.hosts.exclude फाइलों में डिकमीशन किया में शामिल किया है, और यह आदेश निष्पादित:
bin/hadoop dfsadmin -refreshNodes।
नाम नोड यूआई में, मुझे यह नोड Decommissioning Nodes के तहत दिखाई देता है, लेकिन इसमें बहुत लंबा समय लग रहा है, और मेरे पास नोड को डिमोकेशन पर अधिक डेटा नहीं है।
क्या यह हमेशा नोड्स को कम करने के लिए बहुत लंबा समय लगता है या क्या मुझे कुछ जगह दिखानी चाहिए? मुझे यकीन नहीं है कि वास्तव में क्या चल रहा है।
मैं इस नोड पर भी किसी भी भ्रष्ट ब्लॉक देख पा रहे हैं नहीं:
$ ./hadoop/bin/hadoop fsck -blocks/
Total size: 157254687 B
Total dirs: 201
Total files: 189 (Files currently being written: 6)
Total blocks (validated): 140 (avg. block size 1123247 B) (Total open file blocks (not validated): 1)
Minimally replicated blocks: 140 (100.0 %)
Over-replicated blocks: 6 (4.285714 %)
Under-replicated blocks: 12 (8.571428 %)
Mis-replicated blocks: 0 (0.0 %)
Default replication factor: 2
Average block replication: 1.9714285
Corrupt blocks: 0
Missing replicas: 88 (31.884058 %)
Number of data-nodes: 3
Number of racks: 1
FSCK ended at Mon Jul 22 14:42:45 IST 2013 in 33 milliseconds
The filesystem under path '/' is HEALTHY
$ ./hadoop/bin/hadoop dfsadmin -report
Configured Capacity: 25357025280 (23.62 GB)
Present Capacity: 19756299789 (18.4 GB)
DFS Remaining: 19366707200 (18.04 GB)
DFS Used: 389592589 (371.54 MB)
DFS Used%: 1.97%
Under replicated blocks: 14
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Datanodes available: 3 (3 total, 0 dead)
Name: 10.40.11.107:50010
Decommission Status : Decommission in progress
Configured Capacity: 8452341760 (7.87 GB)
DFS Used: 54947840 (52.4 MB)
Non DFS Used: 1786830848 (1.66 GB)
DFS Remaining: 6610563072(6.16 GB)
DFS Used%: 0.65%
DFS Remaining%: 78.21%
Last contact: Mon Jul 22 14:29:37 IST 2013
Name: 10.40.11.106:50010
Decommission Status : Normal
Configured Capacity: 8452341760 (7.87 GB)
DFS Used: 167412428 (159.66 MB)
Non DFS Used: 1953377588 (1.82 GB)
DFS Remaining: 6331551744(5.9 GB)
DFS Used%: 1.98%
DFS Remaining%: 74.91%
Last contact: Mon Jul 22 14:29:37 IST 2013
Name: 10.40.11.108:50010
Decommission Status : Normal
Configured Capacity: 8452341760 (7.87 GB)
DFS Used: 167232321 (159.49 MB)
Non DFS Used: 1860517055 (1.73 GB)
DFS Remaining: 6424592384(5.98 GB)
DFS Used%: 1.98%
DFS Remaining%: 76.01%
Last contact: Mon Jul 22 14:29:38 IST 2013
आपके उत्तर के लिए धन्यवाद। अंततः मुझे पता चला कि समस्या क्या थी। कुछ फाइलों में बहुत अधिक प्रतिकृति कारक सेट था, और मैं अपने क्लस्टर को 2 नोड्स में कम कर रहा था। एक बार जब मैंने उन फ़ाइलों पर अपने प्रतिकृति कारक को कम कर दिया, तो decommissioning सफलतापूर्वक समाप्त हो गया। – Srikanth