मैं सेलेनियम + प्रेतोज़ का उपयोग कर वेबक्रैपिंग के लिए प्रॉक्सी सेट करने का प्रयास कर रहा हूं। मैं अजगर का उपयोग कर रहा हूँ।phantomjs + selenium python proxy-auth काम नहीं कर रहा
मैंने कई स्थानों पर देखा है कि फ़ैंटोमज में एक बग है जैसे प्रॉक्सी-ऑथ काम नहीं करता है।
page.customHeaders = { 'प्रॉक्सी-प्राधिकरण': 'बुनियादी' + btoa ('USERNAME: पासवर्ड')}
from selenium.webdriver.common.proxy import * from selenium import webdriver from selenium.webdriver.common.by import By service_args = [ '--proxy=http://fr.proxymesh.com:31280', '--proxy-auth=USER:PWD', '--proxy-type=http', ] driver = webdriver.PhantomJS(service_args=service_args) driver.get("https://www.google.com") print driver.page_source
प्रॉक्सी जाल बजाय निम्नलिखित उपयोग करने का सुझाव;
लेकिन मुझे यकीन नहीं है कि इसे पाइथन में कैसे अनुवादित किया जाए।
from selenium import webdriver
import base64
from selenium.webdriver.common.proxy import *
from selenium import webdriver
from selenium.webdriver.common.by import By
service_args = [
'--proxy=http://fr.proxymesh.com:31280',
'--proxy-type=http',
]
headers = { 'Proxy-Authorization': 'Basic ' + base64.b64encode('USERNAME:PASSWORD')}
for key, value in enumerate(headers):
webdriver.DesiredCapabilities.PHANTOMJS['phantomjs.page.customHeaders.{}'.format(key)] = value
driver = webdriver.PhantomJS(service_args=service_args)
driver.get("https://www.google.com")
print driver.page_source
लेकिन यह काम नहीं करता:
यह मैं वर्तमान में क्या है।
कोई सुझाव है कि मैं इसे कैसे काम कर सकता हूं?
आप सेलेनियम और PhantomJS उपयोग करने की आवश्यकता है? वेब स्क्रैपिंग के लिए, ऐसे विकल्प होना चाहिए जो अधिक लचीला हों। –
मुझे एक जावास्क्रिप्ट वेबसाइट को स्क्रैप करने की आवश्यकता है। मैं और क्या उपयोग कर सकता हूं के लिए कोई सुझाव? – chris
इस मामले में कोई बेहतर सुझाव नहीं है। –