बैश: कई फाइलों

Question

पर md5sum चेकसम parallelize की सुविधा देता है कहते हैं, मैं एक 64-कोर सर्वर है, और मैं /mnt/data में सभी फाइलों की md5sum गणना, और एक पाठ फ़ाइल में परिणाम स्टोर करने के लिए की जरूरत है:

find /mnt/data -type f -exec md5sum {} \; > md5.txt 

उपरोक्त आदेश के साथ समस्या यह है कि किसी भी समय केवल एक प्रक्रिया चलती है। मैं अपने 64-कोर की पूरी शक्ति का उपयोग करना चाहता हूं। आदर्श रूप से, मैं यह सुनिश्चित करना चाहता हूं कि किसी भी समय, 64 समांतर md5 प्रक्रियाएं चल रही हैं (लेकिन 64 से अधिक नहीं)।

भी। मुझे एक प्रक्रिया में सभी प्रक्रियाओं से आउटपुट की आवश्यकता होगी।

नोट: मैं समानांतर में एक फ़ाइल के md5sum की गणना करने का कोई तरीका नहीं ढूंढ रहा हूं। मैं समानांतर में 64 विभिन्न फ़ाइलों के 64 एमडी 5 एसएमएस की गणना करने का एक तरीका ढूंढ रहा हूं, जब तक find से कोई भी फाइल आ रही है।

Answer 1

GNU parallel का उपयोग करें। और आप here को कार्यान्वित करने के तरीके पर कुछ और उदाहरण पा सकते हैं।

find /mnt/data -type f | parallel -j 64 md5sum > md5.txt 

Answer 2

UPDATED

आप आप इस तरह sg कोशिश कर सकते हैं अतिरिक्त संकुल का उपयोग नहीं करना चाहते हैं:

#!/usr/bin/bash 

max=5; 
cpid=() 

# Enable job control to receive SIGCHLD 
set -m 
remove() { 
    for i in ${!cpid[*]}; do 
    [ ! -d /proc/$i ] && echo UNSET $i && unset cpid[$i] && break 
    done 
} 
trap remove SIGCHLD 

for x in $(find ./ -type f -name '*.sh'); do 
    some_long_process $x& 
    cpid[$!]="$x"; 
    while [ ${#cpid[*]} -ge $max ]; do 
    echo DO SOMETHING && sleep 1; 
    done 
done 
wait 

यह पहली बार है, तो एक उपप्रक्रिया बाहर निकलता है SIGCHLD प्राप्त करने के लिए सक्षम बनाता है। अगर सिग्चाल्ड को पहली गैर-मौजूदा प्रक्रिया मिलती है और cpid सरणी से हटा दी जाती है।

फॉर-लूप में यह maxsome_long_process प्रक्रियाओं को असीमित रूप से शुरू करता है। यह maxcpid सरणी में जोड़े गए सभी बोलियों के चुनावों तक पहुंच गया। यह cpid की लंबाई max से कम है और कुछ और प्रक्रियाओं को असंकालिक रूप से शुरू करता है।

यदि सूची खत्म हो गई है तो यह सभी बच्चों को समाप्त करने की प्रतीक्षा करता है।

जोड़ा

अंत में मैं एक उचित make समाधान here मिल गया है।

Answer 3

यदि आप प्रयोग चाहते हैं तो md5deep इंस्टॉल करने का प्रयास करें। (http://md5deep.sourceforge.net)

Here is the manual जहां पढ़ सकते हैं:

-jnn नियंत्रित करता है बहु सूत्रण। डिफ़ॉल्ट रूप से प्रोग्राम फ़ाइल सिस्टम को स्कैन करने के लिए एक निर्माता थ्रेड और प्रत्येक सीपीयू कोर पर एक हैशिंग थ्रेड बनाएगा। मल्टी-थ्रेडिंग आउटपुट फ़ाइल नाम गैर-निर्धारिती क्रम में होने का कारण बनता है, क्योंकि हैश को अधिक समय तक ले जाने वाली फ़ाइलों होने पर देरी हो रही हैं। एक नियतात्मक आदेश की आवश्यकता है, बहु सूत्रण

यह नहीं मदद करता है, तो निष्क्रिय करने के लिए -j0 निर्दिष्ट करते हैं, आप आई/ओ टोंटी की है।

Answer 4

आप xargs का भी उपयोग कर सकते हैं, यह कुछ distro पर समानांतर से अधिक उपलब्ध हो सकता है।

-P प्रक्रिया की संख्या को नियंत्रित करता है।

find /mnt/data -type f | xargs -L1 -P24 md5sum > /tmp/result.txt