अजगर बराबर एक पाइप

Question

मैं यह पता लगाने कैसे पायथन में संपीड़ित फ़ाइल नीचे दी गई दो लाइनर के समान करने के लिए फ़ाइल आउटपुट लिखने की जरूरत का उपयोग कर पर्ल में gzip के लिए , यह "zipped.gz" फ़ाइल में ज़िपपीड फ़ाइलहेडल को जो कुछ भी प्रिंट करता है उसे संपीड़ित करने के लिए यूनिक्स gzip का उपयोग करता है।

मुझे पता है कि "आयात gzip" का उपयोग करने के लिए इस तरह अजगर में यह करने के लिए:

import gzip 
zipped = gzip.open("zipped.gz", 'wb') 
zipped.write("Hello world\n") 

हालांकि, कि बेहद धीमी गति से होता है। प्रोफाइलर के मुताबिक, उस विधि का उपयोग करके मेरे रन टाइम का 9 0% हिस्सा लगता है क्योंकि मैं 200 जीबी असम्पीडित डेटा को विभिन्न आउटपुट फाइलों में लिख रहा हूं। मुझे पता है कि फाइल सिस्टम यहां समस्या का हिस्सा हो सकता है, लेकिन मैं इसके बजाय यूनिक्स/लिनक्स संपीड़न का उपयोग कर इसे रद्द करना चाहता हूं। यह आंशिक रूप से है क्योंकि मैंने सुना है कि इस मॉड्यूल का उपयोग करके डिकंप्रेसिंग भी धीमी है।

Answer 1

subprocess module का उपयोग करने के क्रिस्टोफ़ेड के सुझाव इस प्रश्न का उचित उत्तर है। हालांकि, यह मुझे स्पष्ट नहीं है कि यह आपकी प्रदर्शन समस्याओं को हल करेगा। सुनिश्चित करने के लिए आपको नए कोड के प्रदर्शन को मापना होगा। जब से तुम सब-प्रक्रिया के लिए डेटा की बड़ी मात्रा को भेजने के लिए, आप popen वस्तु की stdin विशेषता का उपयोग पर विचार करना चाहिए की जरूरत है

import subprocess 

p = subprocess.Popen("gzip -c > zipped.gz", shell=True, stdin=subprocess.PIPE) 
p.communicate("Hello World\n") 

:

अपने नमूना कोड को बदलने के लिए। उदाहरण के लिए:

import subprocess 

p = subprocess.Popen("gzip -c > zipped.gz", shell=True, stdin=subprocess.PIPE) 
p.stdin.write("Some data") 

# Write more data here... 

p.communicate() # Finish writing data and wait for subprocess to finish 

तुम भी this question उपयोगी पर चर्चा मिल सकता है।

Answer 2

gzip module का उपयोग करना है सरकारी वन-वे-टू-do-यह और यह संभावना नहीं है कि किसी भी अन्य शुद्ध अजगर दृष्टिकोण तेजी से जाना जाएगा। यह विशेष रूप से सच है क्योंकि आपके डेटा का आकार स्मृति विकल्पों में नियम बनाता है। सबसे अधिक संभावना है कि डिस्क पर पूर्ण फ़ाइल लिखना सबसे तेज़ तरीका है और उस फ़ाइल पर gz पर कॉल करने के लिए subprocess का उपयोग करें।

Answer 3

इस तरह की कोशिश कुछ:

from subprocess import Popen, PIPE 
f = open('zipped.gz', 'w') 
pipe = Popen('gzip', stdin=PIPE, stdout=f) 
pipe.communicate('Hello world\n') 
f.close()