पायथन सबप्रोसेस: बहुत अधिक खुली फ़ाइलें

Question

मैं किसी अन्य प्रोग्राम को कॉल करने के लिए सबप्रोसेस का उपयोग कर रहा हूं और इसके रिटर्न वैल्यू को एक चर में सहेज रहा हूं। इस प्रक्रिया को एक पाश में दोहराया है, और कुछ ही हजारों बार के बाद कार्यक्रम निम्नलिखित त्रुटि के साथ दुर्घटनाग्रस्त हो गया:

Traceback (most recent call last): 
    File "./extract_pcgls.py", line 96, in <module> 
    SelfE.append(CalSelfEnergy(i)) 
    File "./extract_pcgls.py", line 59, in CalSelfEnergy 
    p = subprocess.Popen(cmd, stdout=subprocess.PIPE, shell=True) 
    File "/usr/lib/python3.2/subprocess.py", line 745, in __init__ 
    restore_signals, start_new_session) 
    File "/usr/lib/python3.2/subprocess.py", line 1166, in _execute_child 
    errpipe_read, errpipe_write = _create_pipe() 
OSError: [Errno 24] Too many open files 

किसी भी विचार इस समस्या को हल करने के लिए कैसे बहुत सराहना कर रहा है!

कोड टिप्पणियों से आपूर्ति:

cmd = "enerCHARMM.pl -parram=x,xtop=topology_modified.rtf,xpar=lipid27_modified.par,nobuildall -out vdwaals {0}".format(cmtup[1]) 
p = subprocess.Popen(cmd, stdout=subprocess.PIPE, shell=True) 
out, err = p.communicate() 

Answer 1

मुझे लगता है कि समस्या तथ्य के कारण था कि मैं प्रसंस्करण किया गया था सबप्रोसेस के साथ एक खुली फ़ाइल:

cmd = "enerCHARMM.pl -par param=x,xtop=topology_modified.rtf,xpar=lipid27_modified.par,nobuildall -out vdwaals {0}".format(cmtup[1]) 
p = subprocess.Popen(cmd, stdout=subprocess.PIPE, shell=True) 

यहां cmd ​​varia ब्ली में एक फ़ाइल का नाम होता है जिसे अभी बनाया गया है लेकिन बंद नहीं किया गया है। फिर subprocess.Popen उस फ़ाइल पर सिस्टम कमांड को कॉल करता है। इसे कई बार करने के बाद, प्रोग्राम उस त्रुटि संदेश से दुर्घटनाग्रस्त हो गया।

तो संदेश मैं इस से सीखा

Close the file you have created, then process it

धन्यवाद

Answer 2

आप ओएस के खुले फ़ाइल सीमा बढ़ाने का प्रयास कर सकते हैं:

ulimit -n 2048

Answer 3

उपप्रक्रिया में फ़ाइल को खोलता है। यह कॉल अवरुद्ध कर रहा है।

ss=subprocess.Popen(tempFileName,shell=True) 
ss.communicate() 

Answer 4

मैक OSX (एल कैप्टन) वर्तमान कॉन्फ़िगरेशन देखें में:

#ulimit -a 
core file size   (blocks, -c) 0 
data seg size   (kbytes, -d) unlimited 
file size    (blocks, -f) unlimited 
max locked memory  (kbytes, -l) unlimited 
max memory size   (kbytes, -m) unlimited 
open files      (-n) 256 
pipe size   (512 bytes, -p) 1 
stack size    (kbytes, -s) 8192 
cpu time    (seconds, -t) unlimited 
max user processes    (-u) 709 
virtual memory   (kbytes, -v) unlimited 

सेट खुली फ़ाइलों मूल्य 10K करने के लिए:

#ulimit -Sn 10000 

परिणाम की पुष्टि करें:

#ulimit -a 

core file size   (blocks, -c) 0 
data seg size   (kbytes, -d) unlimited 
file size    (blocks, -f) unlimited 
max locked memory  (kbytes, -l) unlimited 
max memory size   (kbytes, -m) unlimited 
open files      (-n) 10000 
pipe size   (512 bytes, -p) 1 
stack size    (kbytes, -s) 8192 
cpu time    (seconds, -t) unlimited 
max user processes    (-u) 709 
virtual memory   (kbytes, -v) unlimited 

Answer 5

Popen() द्वारा बनाई गई एक बाल प्रक्रिया माता-पिता से खुली फ़ाइल डिस्क्रिप्टर (एक सीमित संसाधन) का उत्तराधिकारी हो सकती है। POSIX (पाइथन 3.2 के बाद से डिफ़ॉल्ट) पर close_fds=True का उपयोग करें, इससे बचने के लिए। इसके अलावा, "PEP 0446 -- Make newly created file descriptors non-inheritable" deals with some remaining issues (since Python 3.4)।

Answer 6

दूसरों के रूप में उल्लेख किया है, /etc/security/limits.conf में सीमा को बढ़ा है और यह भी फाइल वर्णनकर्ता व्यक्तिगत रूप से मेरे लिए एक मुद्दा था, इसलिए मैं

sudo sysctl -w fs.file-max=100000 

किया और fs.file के साथ एक लाइन जोड़ा अधिकतम = 100000 (sysctl -p साथ पुनः लोड)

इसके अलावा, आप सुनिश्चित करें कि आपके प्रक्रिया कुछ और (जो मेरा था) से प्रभावित नहीं है बनाना चाहते हैं तो /etc/sysctl.conf करने के लिए, का उपयोग

cat /proc/{process id}/limits 

खोजने के लिए बाहर निकलें कि आपकी प्रक्रिया की वास्तविक सीमाएं क्या हैं, क्योंकि मेरे लिए पाइथन स्क्रिप्ट चलाने वाले सॉफ़्टवेयर की सीमाएं भी लागू होती हैं, जिसने सिस्टम की व्यापक सेटिंग्स को ओवरराइड किया है।

इस त्रुटि के साथ मेरे विशेष मुद्दे को हल करने के बाद यहां यह उत्तर पोस्ट करना और उम्मीद है कि यह किसी की सहायता करता है।