पाइथन अनुरोध मॉड्यूल के माध्यम से HTTP अनुरोध करना प्रॉक्सी के माध्यम से काम नहीं कर रहा है जहां कर्ल करता है? क्यूं कर?

Question

इस कर्ल आदेश मैं प्रतिक्रिया मैं बैश

से

curl -v -u z:secret_key --proxy http://proxy.net:80 \ 
-H "Content-Type: application/json" https://service.com/data.json 

I have already seen this other post on proxies with the Requests module

रहा हूँ प्राप्त करने के लिए कर रहा हूँ का उपयोग करते हुए और यह मुझे अजगर में मेरी कोड तैयार मदद की लेकिन मैं एक प्रॉक्सी के माध्यम से एक अनुरोध बनाने की जरूरत है । हालांकि, उचित प्रॉक्सी की आपूर्ति करते समय भी यह काम नहीं कर रहा है। शायद मैं कुछ नहीं देख रहा हूँ?

>>> requests.request('GET', 'https://service.com/data.json', \ 
>>> headers={'Content-Type':'application/json'}, \ 
>>> proxies = {'http' : "http://proxy.net:80",'https':'http://proxy.net:80'}, \ 
>>> auth=('z', 'secret_key')) 

इसके अलावा, उसी पायथन कंसोल पर मैं अनुरोध करने के लिए urllib का उपयोग कर सकता हूं, यह सफल हो गया है।

>>> import urllib 
>>> urllib.urlopen("http://www.httpbin.org").read() 
---results--- 

यहां तक ​​कि केवल एक गैर-https पते पर अनुरोध करने का प्रयास करने में विफल रहता है।

>>> requests.get('http://www.httpbin.org') 
Traceback (most recent call last): 
File "<stdin>", line 1, in <module> 
File "/Library/Python/2.6/site-packages/requests/api.py", line 79, in get 
    return request('get', url, **kwargs) 
File "/Library/Python/2.6/site-packages/requests/api.py", line 66, in request 
    prefetch=prefetch 
File "/Library/Python/2.6/site-packages/requests/sessions.py", line 191, in request 
    r.send(prefetch=prefetch) 
File "/Library/Python/2.6/site-packages/requests/models.py", line 454, in send 
    raise ConnectionError(e) 
requests.exceptions.ConnectionError: Max retries exceeded for url: 

अनुरोध इतने सुरुचिपूर्ण और भयानक हैं लेकिन यह इस उदाहरण में विफल कैसे हो सकता है?

Answer 1

समस्या वास्तव में पाइथन के मानक यूआरएल एक्सेस पुस्तकालयों - urllib/urllib2/httplib के साथ निहित है। मुझे याद नहीं है कि कौन सी लाइब्रेरी सटीक अपराधी है, लेकिन सादगी के लिए, चलो बस इसे urllib कहते हैं। दुर्भाग्यवश, urllib HTTP कनेक्ट विधि को लागू नहीं करता है जो http (http) प्रॉक्सी के माध्यम से किसी https साइट तक पहुंचने के लिए आवश्यक है। Urllib का उपयोग करके कार्यक्षमता जोड़ने के मेरे प्रयास सफल नहीं हुए हैं (यह कोशिश करने के बाद से कुछ समय हो गया है)। तो दुर्भाग्यवश, मुझे लगता है कि एकमात्र विकल्प मैं काम करने के लिए जानता हूं इस मामले के लिए pycurl का उपयोग करना है।

हालांकि, एक ऐसा समाधान है जो अपेक्षाकृत साफ है जो लगभग उसी एपीआई को पायथन अनुरोध के रूप में है, लेकिन यह पायथन मानक पुस्तकालयों के बजाय एक पिकुरल बैकएंड का उपयोग करता है।

लाइब्रेरी को human_curl कहा जाता है। मैंने इसे स्वयं इस्तेमाल किया है और इसके अच्छे परिणाम हुए हैं।

Answer 2

जवाब ऊपर believeing ​​हम human_curl की कोशिश की

human_curl अज्ञात त्रुटियां तरह त्रुटियों दिया था, जबकि urllib3 त्रुटियों को सही समय समाप्त अनुरोध की तरह, मैक्स यूआरएल के साथ पार कर पुनः दे दी है।

तो, हम urllib3 पर वापस गए, urllib3 थ्रेड-सुरक्षित है। हम अब हम इसे "मैक्स को पार कर पुनः", हम नहीं कर सकते इसे हल, अनुमान यह सर्वर/प्रॉक्सी, लेकिन यकीन नहीं के साथ क्या करना हो सकता है urllib3

केवल समस्या से खुश हैं।