पायथन के साथ एक साथ एक फ़ाइल के कई हिस्सों को डाउनलोड करें?

Question

मुझे पता है कि फ़ाइल डाउनलोड करने के लिए urllib का उपयोग कैसे करें। हालांकि, यह बहुत तेज़ है, अगर सर्वर इसे एक ही फाइल के कई हिस्सों को एक साथ डाउनलोड करने की अनुमति देता है और फिर उन्हें मर्ज करता है।

आप पाइथन में ऐसा कैसे करते हैं? यदि आप इसे मानक lib के साथ आसानी से नहीं कर सकते हैं, तो कोई भी lib जो आपको ऐसा करने देगा?

Answer 1

PycURL ऐसा कर सकता है। PycURL libcurl के लिए एक पायथन इंटरफ़ेस है। इसका उपयोग पाइथन प्रोग्राम से यूआरएल द्वारा पहचाने गए ऑब्जेक्ट्स लाने के लिए किया जा सकता है, जो यूरिलिब पायथन मॉड्यूल के समान है। PycURL परिपक्व, बहुत तेज़ है, और कई सुविधाओं का समर्थन करता है।

Answer 2

हालांकि मैं मौजूदा पुस्तकालय का उपयोग करने के ग्रेगरी के सुझाव से सहमत हूं, यह ध्यान देने योग्य है कि आप Range HTTP शीर्षलेख का उपयोग कर ऐसा कर सकते हैं। यदि सर्वर बाइट-रेंज अनुरोध स्वीकार करता है, तो आप फ़ाइल के कई हिस्सों को समानांतर में डाउनलोड करने के लिए कई थ्रेड शुरू कर सकते हैं। यह टुकड़ा, उदाहरण के लिए, केवल बाइट्स 0..65535 निर्दिष्ट फ़ाइल के डाउनलोड करेगा:

import urllib2 
url = 'http://example.com/test.zip' 
req = urllib2.Request(url, headers={'Range':'bytes=0-65535'}) 
data = urllib2.urlopen(req).read() 

आप दूरस्थ संसाधन आकार निर्धारित और देखो एक HEAD अनुरोध भेजकर कि सर्वर का समर्थन करता है अनुरोध लेकर कर सकते हैं:

import urllib2 

class HeadRequest(urllib2.Request): 
    def get_method(self): 
     return "HEAD" 

url = 'http://sstatic.net/stackoverflow/img/sprites.png' 
req = HeadRequest(url) 
response = urllib2.urlopen(req) 
response.close() 
print respose.headers 

ऊपर प्रिंट:

Cache-Control: max-age=604800 
Content-Length: 16542 
Content-Type: image/png 
Last-Modified: Thu, 10 Mar 2011 06:13:43 GMT 
Accept-Ranges: bytes 
ETag: "c434b24eeadecb1:0" 
Date: Mon, 14 Mar 2011 16:08:02 GMT 
Connection: close 

से हम देख सकते हैं कि फ़ाइल का आकार 16,542 बाइट्स ('Content-Length') है और सर्वर बाइट सीमाओं का समर्थन करता है (012,381,)।