पायथन क्रैश

Question

के लिए आउटपुट कारण मेरे पास एक ऐसा एप्लिकेशन है जो प्रत्येक कुछ मिनटों में सर्वरों का एक गुच्छा चुनाव करता है। ऐसा करने के लिए, यह सर्वर प्रति एक धागा मतदान पर (15 सर्वरों) spawns और एक वस्तु के लिए डेटा वापस लिखते हैं:

import requests 

class ServerResults(object): 
    def __init__(self): 
     self.results = [] 

    def add_server(some_argument): 
     self.results.append(some_argument) 

servers = ['1.1.1.1', '1.1.1.2'] 
results = ServerResults() 

for s in servers: 
    t = CallThreads(poll_server, s, results) 
    t.daemon = True 
    t.start() 

def poll_server(server, results): 
    response = requests.get(server, timeout=10) 
    results.add_server(response.status_code); 

CallThreads वर्ग एक सहायक समारोह एक समारोह (कॉल करने के लिए तर्क के साथ इस मामले poll_server() में है (इस मामले में s और results), आप Python utility functions के मेरे गीथब रेपो में स्रोत देख सकते हैं। अधिकांश समय यह ठीक काम करता है, हालांकि कभी-कभी एक धागा अंतराल से लटकता है। मुझे यकीन नहीं है कि क्यों, मैं इसका उपयोग कर रहा हूं जीईटी अनुरोध पर टाइमआउट। किसी भी मामले में, अगर थ्रेड लटकता है तो लटका धागे घंटों या दिनों के दौरान बनते हैं, और फिर पायथन क्रैश हो जाता है:

File "/usr/lib/python2.7/threading.py", line 495, in start 
    _start_new_thread(self.__bootstrap,()) 
thread.error: can't start new thread 

Exception in thread Thread-575 (most likely raised during interpreter shutdown) 
Exception in thread Thread-1671 (most likely raised during interpreter shutdown) 
Exception in thread Thread-831 (most likely raised during interpreter shutdown) 

मैं इससे कैसे निपट सकता हूं? ऐसा लगता है कि killablockingthreadinPython कोई रास्ता नहीं है। इस एप्लिकेशन को रास्पबेरी पीआई पर चलाने की जरूरत है, इसलिए twisted जैसी बड़ी लाइब्रेरी फिट नहीं होंगी, असल में मुझे requests लाइब्रेरी से छुटकारा पाना होगा!

Answer 1

जहां तक ​​मैं कह सकता हूं, संभव परिदृश्य यह है कि जब किसी दिए गए सर्वर के लिए थ्रेड "लटकता" होता है, तो यह वहां "हमेशा" रहेगा। अगली बार जब आप अपने सर्वर से पूछते हैं तो एक और धागा उत्पन्न होता है (_start_new_thread), उस बिंदु तक जहां पायथन क्रैश हो जाता है।

शायद

नहीं अपने (मुख्य) समस्या है, लेकिन आपको:

• एक धागा पूल का उपयोग - यह अपने अपने सिस्टम से सीमित संसाधनों नई धागे बार-बार उत्पन्न करने के रूप में के रूप में ज्यादा तनाव नहीं होगा ।
• जांचें कि आप results पर समवर्ती पहुंच को संभालने के लिए "थ्रेड-संगत" तंत्र का उपयोग करते हैं। शायद semaphore या mutex से लॉक आपके कोड के परमाणु भाग। शायद queue जैसे एक समर्पित डेटा संरचना होगी।

---

के संबंध में "लटका" से प्रति - सावधान रहना है कि टाइमआउट तर्क जबकि (urlopen) कनेक्शन स्थापित करने के लिए समय समाप्ति से संबंधित है "एक यूआरएल को खोलने"। नहीं वास्तविक डेटा डाउनलोड करने के लिए:

वैकल्पिक टाइमआउट पैरामीटर कनेक्शन का प्रयास की तरह अवरुद्ध कार्यों के लिए सेकंड में एक समय समाप्ति निर्दिष्ट करता है (यदि निर्दिष्ट नहीं है, वैश्विक डिफ़ॉल्ट टाइमआउट सेटिंग का उपयोग किया जाएगा)। यह वास्तव में HTTP, HTTPS और FTP कनेक्शन के लिए केवल काम करता है।