गॉट अपवाद त्रुटि "थ्रेड थ्रेड -13 में अपवाद (दुभाषिया शट डाउन के दौरान सबसे अधिक संभावना)"

Question

मैंने एक साधारण लिपि लिखी, जो सेवा से डेटा पुनर्प्राप्त करने के लिए धागे का उपयोग कर रहा था।

__author__ = 'Igor' 
import requests 
import time 
from multiprocessing.dummy import Pool as ThreadPool 

ip_list = [] 
good_ip_list = [] 
bad_ip_list = [] 
progress = 0 

with open('/tmp/ip.txt') as f: 
    ip_list = f.read().split() 

def process_request(ip): 
    global progress 
    progress += 1 
    if progress % 10000 == 0: 
     print 'Processed ip:', progress, '...' 
    r = requests.get('http://*****/?ip='+ip, timeout=None) 
    if r.status_code == 200: 
     good_ip_list.append(ip) 
    elif r.status_code == 400: 
     bad_ip_list.append(ip) 
    else: 
     print 'Unknown http code received, aborting' 
     exit(1) 

pool = ThreadPool(16) 
try: 
    pool.map(process_request, ip_list) 
except: 
    for name, ip_list in (('/tmp/out_good.txt', good_ip_list),  ('/tmp/out_bad.txt', bad_ip_list)): 
     with open(name, 'w') as f: 
      for ip in ip_list: 
       print>>f, ip 

लेकिन कुछ अनुरोध संसाधित (40k-50k) के बाद मैं प्राप्त करते हैं:

धागा धागा -7 में अपवाद (सबसे अधिक संभावना दुभाषिया शटडाउन के दौरान उठाया): Traceback (सबसे हाल कॉल पिछले): प्रक्रिया

 <timeout>999</timeout> 
     <connectionlimit>600</connectionlimit> 
     <httpthreads>32</httpthreads> 
     <workerthreads>128</workerthreads> 

लेकिन अब भी वही त्रुटि: बाहर निकलने के कोड 0

सेवा सेटिंग में बदलाव करने की कोशिश की के साथ समाप्त हो गया। क्या कोई मेरी मदद कर सकता है - क्या गलत है?

Answer 1

सभी को धन्यवाद, जिन्होंने इस समस्या को हल करने में मेरी मदद की। पूरे कोड दुबारा लिखा और अब यह पूरी तरह से काम करता है:

__author__ = 'kulakov' 
import requests 
import time 
from multiprocessing.dummy import Pool as ThreadPool 

ip_list = [] 
good_ip_list = [] 
bad_ip_list = [] 

with open('/tmp/ip.txt') as f: 
    ip_list = f.read().split() 

s = requests.Session() 
def process_request(ip): 
    r = s.get('http://*****/?ip='+ip, timeout=None) 
    if r.status_code == 200: 
     # good_ip_list.append(ip) 
     return (ip, True) 
    elif r.status_code == 400: 
     # bad_ip_list.append(ip) 
     return (ip, False) 
    else: 
     print 'Unknown http code received, aborting' 
     exit(1) 

pool = ThreadPool(16) 
for ip, isOk in pool.imap(process_request, ip_list): 
    if isOk: 
     good_ip_list.append(ip) 
    else: 
     bad_ip_list.append(ip) 
pool.close() 
pool.join() 

for name, ip_list in (('/tmp/out_good.txt', good_ip_list), ('/tmp/out_bad.txt', bad_ip_list)): 
    with open(name, 'w') as f: 
     for ip in ip_list: 
      print>>f, ip 

कुछ नए उपयोगी जानकारी:

1) यह वास्तव में बुरा विचार एक समारोह process_request में अलग धागे में डेटा लिखने के लिए किया गया था, अब यह बयान (सच रिटर्न \ झूठा) और आईपी।

2) keep alive पूरी तरह से requests द्वारा समर्थित है, डिफ़ॉल्ट रूप से, लेकिन आप इसे उपयोग करना चाहते हैं, आप एक वस्तु Session के कहने बनाना होगा, और यह केवल करने के लिए get विधि लागू होते हैं:

s = requests.Session() 
r = s.get('http://*****/?ip='+ip, timeout=None) 

Answer 2

यह:

good_ip_list = [] 
bad_ip_list = [] 

अजगर बहु ​​के साथ मिश्रण करने के लिए सुरक्षित नहीं है। सही तरीका प्रत्येक कॉल से process_request पर एक टुपल (या कुछ) वापस करना है और फिर अंत में उन्हें समेकित करना है। progress को कई प्रक्रियाओं से समवर्ती रूप से संशोधित करना भी सुरक्षित नहीं है। मैं सकारात्मक नहीं हूं कि आपकी त्रुटि क्या है, लेकिन मुझे लगता है कि यह कुछ सिंक्रनाइज़ेशन समस्या है जो पूरी तरह से पाइथन को मार रही है।

साझा स्थिति को हटाएं और पुनः प्रयास करें।