तो मैं अपने वेबड्राइवर के अंदर नए टैब पर वेबसाइट खोलने की कोशिश कर रहा हूं। मैं ऐसा करना चाहता हूं, क्योंकि प्रत्येक वेबसाइट के लिए एक नया वेबड्राइवर खोलना फ़ैंटॉमजेएस का उपयोग करके लगभग 3.5secs लेता है, मुझे और गति चाहिए ...नए टैब में वेब खोलें सेलेनियम + पायथन
मैं एक मल्टीप्रोसेस पायथन स्क्रिप्ट का उपयोग कर रहा हूं, और मैं प्रत्येक से कुछ तत्व प्राप्त करना चाहता हूं पेज, इसलिए कार्यप्रवाह इस तरह है:
Open Browser
Loop throught my array
For element in array -> Open website in new tab -> do my business -> close it
लेकिन मैं इस लक्ष्य को हासिल करने के लिए किसी भी तरह से नहीं मिल रहा।
यहां कोड है जिसका मैं उपयोग कर रहा हूं। यह वेबसाइटों के बीच हमेशा के लिए लेता है, मुझे इसे तेज़ होने की आवश्यकता है ... अन्य टूल्स की अनुमति है, लेकिन मुझे जावास्क्रिप्ट के साथ लोड होने वाली वेबसाइट सामग्री को स्क्रैप करने के लिए बहुत सारे टूल नहीं हैं (जब कुछ ईवेंट लोड पर ट्रिगर होता है तो डिवीज बनाया जाता है) मुझे सेलेनियम की आवश्यकता क्यों है ... मेरे कुछ पृष्ठों के लिए सुंदर सूप का उपयोग नहीं किया जा सकता है।
#!/usr/bin/env python
import multiprocessing, time, pika, json, traceback, logging, sys, os, itertools, urllib, urllib2, cStringIO, mysql.connector, shutil, hashlib, socket, urllib2, re
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from PIL import Image
from os import listdir
from os.path import isfile, join
from bs4 import BeautifulSoup
from pprint import pprint
def getPhantomData(parameters):
try:
# We create WebDriver
browser = webdriver.Firefox()
# Navigate to URL
browser.get(parameters['target_url'])
# Find all links by Selector
links = browser.find_elements_by_css_selector(parameters['selector'])
result = []
for link in links:
# Extract link attribute and append to our list
result.append(link.get_attribute(parameters['attribute']))
browser.close()
browser.quit()
return json.dumps({'data': result})
except Exception, err:
browser.close()
browser.quit()
print err
def callback(ch, method, properties, body):
parameters = json.loads(body)
message = getPhantomData(parameters)
if message['data']:
ch.basic_ack(delivery_tag=method.delivery_tag)
else:
ch.basic_reject(delivery_tag=method.delivery_tag, requeue=True)
def consume():
credentials = pika.PlainCredentials('invitado', 'invitado')
rabbit = pika.ConnectionParameters('localhost',5672,'/',credentials)
connection = pika.BlockingConnection(rabbit)
channel = connection.channel()
# Conectamos al canal
channel.queue_declare(queue='com.stuff.images', durable=True)
channel.basic_consume(callback,queue='com.stuff.images')
print ' [*] Waiting for messages. To exit press CTRL^C'
try:
channel.start_consuming()
except KeyboardInterrupt:
pass
workers = 5
pool = multiprocessing.Pool(processes=workers)
for i in xrange(0, workers):
pool.apply_async(consume)
try:
while True:
continue
except KeyboardInterrupt:
print ' [*] Exiting...'
pool.terminate()
pool.join()
शुरुआत में सभी वेबड्राइवर बनाने के बारे में क्या? – Raito