urllib2 संपूर्ण HTTP प्रतिक्रिया को पुनर्प्राप्त नहीं कर रहा है

Question

मुझे परेशान है कि मैं urllib2 का उपयोग कर FriendFeed से कुछ JSON प्रतिक्रियाओं की संपूर्ण सामग्री को डाउनलोड करने में सक्षम क्यों नहीं हूं।

>>> import urllib2 
>>> stream = urllib2.urlopen('http://friendfeed.com/api/room/the-life-scientists/profile?format=json') 
>>> stream.headers['content-length'] 
'168928' 
>>> data = stream.read() 
>>> len(data) 
61058 
>>> # We can see here that I did not retrieve the full JSON 
... # given that the stream doesn't end with a closing } 
... 
>>> data[-40:] 
'ce2-003048343a40","name":"Vincent Racani' 

मैं urllib2 के साथ पूर्ण प्रतिक्रिया कैसे प्राप्त कर सकता हूं?

Answer 1

सबसे अच्छा तरीका काम करता है डेटा के सभी प्राप्त करने के लिए:

fp = urllib2.urlopen("http://www.example.com/index.cfm") 

response = "" 
while 1: 
    data = fp.read() 
    if not data:   # This might need to be if data == "": -- can't remember 
     break 
    response += data 

print response 

कारण यह है कि .read() सॉकेट की प्रकृति को देखते हुए पूरी प्रतिक्रिया वापस करने की गारंटी नहीं है। मैंने सोचा कि इस दस्तावेज में चर्चा की गई थी (शायद urllib) लेकिन मुझे यह नहीं मिल रहा है।

Answer 2

रखें stream.read बुला() जब तक यह किया है ...

while data = stream.read() : 
    ... do stuff with data 

Answer 3

readlines() 

भी

Answer 4

वास्तविक नेटवर्क इंटरैक्शन पर नजर रखने के लिए tcpdump (या ऐसा कुछ) का उपयोग करें - फिर आप विश्लेषण कर सकते हैं कि साइट कुछ क्लाइंट पुस्तकालयों के लिए क्यों टूटी हुई है। सुनिश्चित करें कि आप परीक्षण को स्क्रिप्ट से कई बार दोहराए जाते हैं, इसलिए यदि समस्या संगत है जैसा कि आप देख सकते हैं:

import urllib2 
url = 'http://friendfeed.com/api/room/friendfeed-feedback/profile?format=json' 
stream = urllib2.urlopen(url) 
expected = int(stream.headers['content-length']) 
data = stream.read() 
datalen = len(data) 
print expected, datalen, expected == datalen 

साइट की मेरे लिए लगातार काम तो मैं खोजने विफलताओं :)