पायथन: subimocess.call/subprocess.Popen के लिए ulimit और अच्छा?

Question

मुझे subprocess.call का उपयोग करके एक पायथन प्रक्रिया से उत्पन्न बाहरी कमांड लाइन ऐप्स द्वारा उठाए गए समय और सीपीयू को सीमित करने की आवश्यकता है, मुख्य रूप से क्योंकि कभी-कभी स्पॉन्डेड प्रक्रिया अटक जाती है और 99% पर सीपीयू पिन करती है।

अच्छा और उलिमिट ऐसा करने के उचित तरीकों की तरह प्रतीत होता है, लेकिन मुझे यकीन नहीं है कि वे सबप्रोसेस के साथ कैसे बातचीत करेंगे। अगर यह

सीमा यह सीपीयू

के 20% तक अधिक से अधिक 60 सेकंड ले रहा है

• प्रक्रिया को मारने मैं सीमित संसाधन लागू करना चाहते हैं:
  • सीमा कुछ इस प्रकार दिखाई subprocess के लिए, उपद्रव पैदा करने वाली अजगर प्रक्रिया के लिए नहीं।

  क्या subprocess.call spawned प्रक्रिया के लिए अच्छा और ulimit लागू करने का कोई तरीका है? क्या बेहतर पायथन-मूल विकल्प हैं?

  यह एक लिनक्स (उबंटू) प्रणाली पर है।

Answer 1

आप इस तरह ulimit और nice खोल आदेशों के साथ subprocesses के लिए सीमा निर्धारित कर सकते हैं:

import subprocess 
subprocess.Popen('ulimit -t 60; nice -n 15 cpuhog', shell=True) 

यह CPU समय के 60 सेकंड की सीमा और 15 नोट की एक संतोषप्रदता समायोजन है कि वहाँ के साथ cpuhog चलाता है इस प्रकार 20% सीपीयू थ्रॉटल सेट करने का कोई आसान तरीका नहीं है। प्रक्रिया 100% सीपीयू का उपयोग करेगी जब तक कि एक और (कम अच्छी) प्रक्रिया को सीपीयू की भी आवश्यकता न हो।

Answer 2

subprocess.Popen, और संसाधन मॉड्यूल में preexec_fn पैरामीटर का उपयोग करें। उदाहरण:

parent.py:

#!/usr/bin/env python 

import os 
import sys 
import resource 
import subprocess 

def setlimits(): 
    # Set maximum CPU time to 1 second in child process, after fork() but before exec() 
    print "Setting resource limit in child (pid %d)" % os.getpid() 
    resource.setrlimit(resource.RLIMIT_CPU, (1, 1)) 

print "CPU limit of parent (pid %d)" % os.getpid(), resource.getrlimit(resource.RLIMIT_CPU) 
p = subprocess.Popen(["./child.py"], preexec_fn=setlimits) 
print "CPU limit of parent (pid %d) after startup of child" % os.getpid(), resource.getrlimit(resource.RLIMIT_CPU) 
p.wait() 
print "CPU limit of parent (pid %d) after child finished executing" % os.getpid(), resource.getrlimit(resource.RLIMIT_CPU) 

child.py:

#!/usr/bin/env python 

import os 
import sys 
import resource 

print "CPU limit of child (pid %d)" % os.getpid(), resource.getrlimit(resource.RLIMIT_CPU) 

parent.py एक नई प्रक्रिया में फॉर्क होगा। नई प्रक्रिया में, यह setlimits() को कॉल करेगा, फिर निष्पादन child.py। इसका मतलब है कि संसाधन बाल प्रक्रिया में सीमित होगा, लेकिन माता-पिता में नहीं।

आउटपुट जब चल रहे प्रोग्राम:

./parent.py 
CPU limit of parent (pid 17404) (-1, -1) 
Setting resource limit in child (pid 17405) 
CPU limit of parent (pid 17404) after startup of child (-1, -1) 
CPU limit of child (pid 17405) (1, 1) 
CPU limit of parent (pid 17404) after child finished executing (-1, -1) 

यह ulimit उपयोग करने के लिए कोशिश कर रहा से एक बेहतर समाधान कई मामलों में है यह हमेशा एक अच्छा विचार खोल के माध्यम से उपप्रक्रिया अंडे देने के लिए नहीं है के बाद से, खासकर जब से यह अक्सर बदसूरत पैरामीटर का कारण बनता है परेशानी का हवाला देते हुए।

Answer 3

एरिक यह मेरे लिए आसान हो गया है, लेकिन वह nice हिस्सा जो रिच ने बताया भूल गया। मुझे psutil पैकेज अच्छा लगता है (पन इरादा) लेकिन दुर्भाग्य से कम पोर्टेबल।

import os 
import psutil 
import resource 
import subprocess 

def preexec_fn(): 
    pid = os.getpid() 
    ps = psutil.Process(pid) 
    ps.set_nice(10) 
    resource.setrlimit(resource.RLIMIT_CPU, (1, 1)) 

print "mother pid", os.getpid() 
p = subprocess.Popen(["./cpuhog.sh"], preexec_fn=preexec_fn) 
p.wait() 
print "mother still alive with pid", os.getpid() 

विल इस्तेमाल किया shell=True को जो मैं किसी भी तरह से एलर्जी हूँ: यहाँ सवाल पर मेरी ले है। शायद मैं यहाँ बस बूढ़ा और अजीब हूँ, लेकिन मैं इससे बचने की कोशिश करता हूँ!