सिगविन पर फ़ाइल तुलना (`cmp` के साथ) को तेज करना?

Question

मैंने साइगविन पर एक बैश स्क्रिप्ट लिखी है जो rsync की तरह है, हालांकि मुझे लगता है कि मैं वास्तव में rsync का उपयोग करने के लिए वास्तव में उपयोग नहीं कर सकता हूं। यह संबंधित निर्देशिकाओं में फ़ाइलों के बारे में एक हजार जोड़े से अधिक है, उन्हें cmp के साथ तुलना करता है।

दुर्भाग्यवश, यह लगभग धीरे-धीरे चल रहा है - लगभग दस (संपादित करें: वास्तव में 25!) बार जब तक यह एक पायथन प्रोग्राम का उपयोग कर फ़ाइलों के सेटों में से एक उत्पन्न करने के लिए लेता है।

क्या मैं सोच रहा हूं कि यह आश्चर्यजनक रूप से धीमा है? क्या कोई आसान विकल्प है जो तेजी से बढ़ेगा?

(मेरी यूज-केस पर थोड़ा विस्तार से बता दें: मैं एक अस्थायी निर्देशिका में .c फाइलों का एक समूह autogenerating रहा हूँ, और उन्हें जब मैं दोबारा बनाने, मैं केवल लोगों को बदल दिया है कि कॉपी करना चाहते हैं वास्तविक स्रोत निर्देशिका में, अपरिवर्तित लोगों को बिना छेड़छाड़ किए गए (उनके पुराने निर्माण समय के साथ) छोड़कर make पता चलेगा कि उन्हें पुन: संकलित करने की आवश्यकता नहीं है। सभी जेनरेट की गई फ़ाइलें .c फ़ाइलें नहीं हैं, हालांकि, मुझे बाइनरी करने की आवश्यकता है पाठ तुलना की तुलना में तुलना।)

Answer 1

शायद आपको कुछ काम करने के लिए पाइथन का उपयोग करना चाहिए - या यहां तक ​​कि सभी तुलनात्मक काम भी?

एक सुधार केवल cmp चलाने के लिए परेशान होगा यदि फ़ाइल आकार समान हैं; अगर वे अलग हैं, तो स्पष्ट रूप से फ़ाइल बदल गई है। cmp चलाने के बजाय, आप MD5 या SHA1 या SHA-256 का उपयोग करके प्रत्येक फ़ाइल के लिए हैश उत्पन्न करने के बारे में सोच सकते हैं या जो कुछ भी आपकी कल्पना लेता है (पाइथन मॉड्यूल या एक्सटेंशन का उपयोग करके, यदि यह सही शब्द है)। यदि आपको नहीं लगता कि आप दुर्भावनापूर्ण इरादे से निपटेंगे, तो एमडी 5 अंतर की पहचान करने के लिए शायद पर्याप्त है।

यहां तक ​​कि एक शेल स्क्रिप्ट में, आप बाहरी हैशिंग कमांड चला सकते हैं, और इसे एक निर्देशिका में सभी फ़ाइलों का नाम दे सकते हैं, फिर उसे अन्य निर्देशिका में सभी फ़ाइलों का नाम दें। फिर आप हैश मानों के साथ-साथ फ़ाइल नामों के दो सेट पढ़ सकते हैं और तय कर सकते हैं कि कौन सा बदल गया है।

हां, ऐसा लगता है जैसे यह बहुत लंबा समय ले रहा है। लेकिन इस समस्या में cmp की 1000 प्रतियां, साथ ही अन्य प्रसंस्करण को लॉन्च करना शामिल है। उपरोक्त पायथन और शैल स्क्रिप्ट सुझावों में दोनों समान हैं कि वे 1000 बार प्रोग्राम चलाने से बचते हैं; वे निष्पादित कार्यक्रमों की संख्या को कम करने की कोशिश करते हैं। निष्पादित प्रक्रियाओं की संख्या में यह कमी आपको मेरे लिए एक बहुत बड़ी धमाके देगी, मुझे उम्मीद है।

---

आप 'फ़ाइलों की वर्तमान सेट' से हैश रख सकते हैं चारों ओर और बस फ़ाइलों के नए सेट के लिए नए हैश जेनरेट करना और फिर उनकी तुलना, आप अच्छी तरह से करना होगा। जाहिर है, अगर 'पुरानी हैश' (फाइलों का वर्तमान सेट) वाली फ़ाइल गुम है, तो आपको इसे मौजूदा फ़ाइलों से पुन: उत्पन्न करना होगा। यह टिप्पणियों में जानकारी को थोड़ा कम कर रहा है।

एक अन्य संभावना: क्या आप इन फ़ाइलों को उत्पन्न करने के लिए उपयोग किए जाने वाले डेटा में परिवर्तनों को ट्रैक कर सकते हैं और यह बताने के लिए उपयोग कर सकते हैं कि कौन सी फाइलें बदली होंगी (या, कम से कम, फ़ाइलों के सेट को सीमित कर सकते हैं जो कि हो सकते हैं और इसलिए इसकी तुलना करने की आवश्यकता है, क्योंकि आपकी टिप्पणियां इंगित करती हैं कि अधिकांश फाइलें हर बार समान होती हैं)।

Answer 2

यदि आप हजारों अतिरिक्त कार्यक्रमों को बढ़ाने और निष्पादित करने के बजाय एक प्रक्रिया के भीतर एक हजार अजीब फ़ाइलों की तुलना कर सकते हैं, तो यह संभवतः आदर्श होगा।

संक्षिप्त उत्तर: --silent अपने cmp कॉल में शामिल करें, अगर यह वहाँ नहीं पहले से ही है।

आप डेटा की जांच करने से पहले कुछ फ़ाइल आकार जांच करके पाइथन संस्करण को तेज़ करने में सक्षम हो सकते हैं।

सबसे पहले, एक त्वरित और hacky bash(1) तकनीक है कि काफी आसान है, तो आप एक ही build निर्देशिका को बदल सकते हैं हो सकता है: bash-N परीक्षण का उपयोग करें:,

$ echo foo > file 
$ if [ -N file ] ; then echo newer than last read ; else echo older than last read ; fi 
newer than last read 
$ cat file 
foo 
$ if [ -N file ] ; then echo newer than last read ; else echo older than last read ; fi 
older than last read 
$ echo blort > file # regenerate the file here 
$ if [ -N file ] ; then echo newer than last read ; else echo older than last read ; fi 
newer than last read 
$ 

बेशक

अगर के कुछ सबसेट फ़ाइलें जेनरेट की गई फ़ाइलों के किसी अन्य सबसेट पर निर्भर करती हैं, यह दृष्टिकोण बिल्कुल काम नहीं करेगा। (यह इस तकनीक से बचने के लिए पर्याप्त कारण हो सकता है, यह आप पर निर्भर है।)

अपने अजगर कार्यक्रम के भीतर, आप भी फ़ाइल आकार निर्धारित करने के लिए किया जाए या नहीं आप अपने तुलना दिनचर्या बुलाना चाहिए os.stat() का उपयोग कर जांच कर सकता है; अगर फाइलें अलग-अलग आकार हैं, तो आप वास्तव में परवाह नहीं करते कि कौन से बाइट बदल गए हैं, ताकि आप दोनों फाइलें पढ़ सकें। (यह bash(1) में करने के लिए मुश्किल होगा - मैं एक कार्यक्रम है, जो इस चेक के पूरे मुद्दे धरा को क्रियान्वित करने के बिना bash(1) में फ़ाइल आकार पाने के लिए कोई तंत्र के बारे में पता।)

cmp कार्यक्रम आकार तुलना करना होगा आंतरिक रूप से IFF आप --silent ध्वज और दोनों फ़ाइलों का उपयोग कर रहे हैं नियमित फ़ाइलें और दोनों फाइलें एक ही स्थान पर स्थित हैं। (यह --ignore-initial ध्वज के माध्यम से सेट किया गया है।) यदि आप --silent का उपयोग नहीं कर रहे हैं, तो इसे जोड़ें और देखें कि अंतर क्या है।