पायथन

Question

के साथ स्क्रीन स्क्रैपिंग क्या पाइथन में स्क्रीन स्क्रैपिंग लाइब्रेरीज़ हैं जो जावास्क्रिप्ट समर्थन प्रदान करते हैं?

मैं साधारण HTML अनुरोधों के लिए pycurl का उपयोग किया गया है, और जावास्क्रिप्ट समर्थन की आवश्यकता होती है और अधिक जटिल अनुरोधों के लिए जावा के HtmlUnit।

आदर्श रूप से मैं पाइथन से सब कुछ करने में सक्षम होना चाहता हूं, लेकिन मैं किसी भी पुस्तकालय में नहीं आया हूं जो मुझे ऐसा करने की अनुमति देगा। क्या वे मौजूद हैं?

Answer 1

कई विकल्प हैं जब स्थिर HTML है, जो अन्य प्रतिक्रियाओं को कवर के साथ काम कर। हालांकि अगर आपको जावास्क्रिप्ट समर्थन की आवश्यकता है और पायथन में रहना चाहते हैं तो मैं वेबपृष्ठ (जावास्क्रिप्ट सहित) प्रस्तुत करने के लिए webkit का उपयोग करने की सलाह देता हूं और फिर परिणामी HTML की जांच करता हूं। उदाहरण के लिए:

import sys 
import signal 
from PyQt4.QtCore import * 
from PyQt4.QtGui import * 
from PyQt4.QtWebKit import QWebPage 

class Render(QWebPage): 
    def __init__(self, url): 
     self.app = QApplication(sys.argv) 
     QWebPage.__init__(self) 
     self.html = None 
     signal.signal(signal.SIGINT, signal.SIG_DFL) 
     self.connect(self, SIGNAL('loadFinished(bool)'), self._finished_loading) 
     self.mainFrame().load(QUrl(url)) 
     self.app.exec_() 

    def _finished_loading(self, result): 
     self.html = self.mainFrame().toHtml() 
     self.app.quit() 


if __name__ == '__main__': 
    try: 
     url = sys.argv[1] 
    except IndexError: 
     print 'Usage: %s url' % sys.argv[0] 
    else: 
     javascript_html = Render(url).html 

Answer 2

मुझे इसके लिए कुछ भी नहीं मिला है। मैं सुंदरसप और कस्टम दिनचर्या के संयोजन का उपयोग करता हूं ...

Answer 3

आप spidermonkey को आजमा सकते हैं?

This Python module allows for the implementation of Javascript? classes, objects and functions in Python, as well as the evaluation and calling of Javascript scripts and functions. It borrows heavily from Claes Jacobssen's Javascript Perl module, which in turn is based on Mozilla's PerlConnect Perl binding.

Answer 4

Beautiful soup अभी भी शायद अपने सबसे अच्छे शर्त है।

यदि आपको अजाक्स अनुरोधों को रोकने के उद्देश्य से "जावास्क्रिप्ट समर्थन" की आवश्यकता है तो आपको उन अनुरोधों की निगरानी करने के लिए कुछ प्रकार के कैप्चर (जैसे YATT) का उपयोग करना चाहिए, और फिर उन्हें अनुकरण/विश्लेषण करना चाहिए।

यदि आपको स्थिर जावास्क्रिप्ट वाले किसी पृष्ठ का अंतिम परिणाम देखने में सक्षम होने के लिए "जावास्क्रिप्ट समर्थन" की आवश्यकता है, तो मेरी पहली पसंद यह होगी कि जावास्क्रिप्ट किसी मामले पर क्या कर रहा है- उप-मामले के आधार पर (उदाहरण के लिए यदि जावास्क्रिप्ट कुछ एक्सएमएल के आधार पर कुछ कर रहा है, तो बस इसके बजाय एक्सएमएल को सीधे पार्स करें)

यदि आप वास्तव में "जावास्क्रिप्ट समर्थन" चाहते हैं (जैसा कि आप देखना चाहते हैं कि HTML स्क्रिप्ट के बाद क्या है एक पृष्ठ पर चलाया गया है) तो मुझे लगता है कि आपको शायद कुछ ब्राउज़र नियंत्रण का एक उदाहरण बनाने की आवश्यकता होगी, और इसके बाद परिणामी एचटीएमएल/डोम को ब्राउजर कंट्रोल से वापस लोड करने के बाद पढ़ें और सामान्य सूप के साथ इसे सामान्य रूप से पार्स करें। हालांकि यह मेरा आखिरी उपाय होगा।

Answer 5

Scrapy is a fast high-level screen scraping and web crawling framework, used to crawl websites and extract structured data from their pages. It can be used for a wide range of purposes, from data mining to monitoring and automated testing.

ये रहा: http://scrapy.org/

Answer 6

Selenium शायद? यह आपको पायथन (अन्य भाषाओं के बीच) का उपयोग करके एक वास्तविक ब्राउज़र (फ़ायरफ़ॉक्स, आईई, सफारी) स्वचालित करने की अनुमति देता है। यह वेबसाइटों का परीक्षण करने के लिए है, लेकिन ऐसा लगता है कि यह स्क्रैपिंग के लिए भी प्रयोग योग्य होना चाहिए। (अस्वीकरण: इसे कभी भी इस्तेमाल नहीं किया गया)

Answer 7

Webscraping लाइब्रेरी PyQt4 WebView को एक सरल और उपयोग में आसान API में लपेटती है।

from webscraping import download, xpath 
D = download.Download() 
# download and cache the Google Code webpage 
html = D.get('http://code.google.com/p/webscraping') 
# use xpath to extract the project title 
print xpath.get(html, '//div[@id="pname"]/a/span')