स्क्रैप - पूरी वेबसाइट क्रॉल करें

Question

मैं पूरी वेबसाइट को क्रॉल करने में असमर्थ हूं, स्केपर बस सतह पर क्रॉल करता है, मैं गहराई से क्रॉल करना चाहता हूं। पिछले 5-6 बजे के लिए googling और कोई मदद नहीं किया गया। नीचे मेरा कोड:

from scrapy.contrib.spiders import CrawlSpider, Rule 
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 
from scrapy.selector import HtmlXPathSelector 
from scrapy.item import Item 
from scrapy.spider import BaseSpider 
from scrapy import log 

class ExampleSpider(CrawlSpider): 
    name = "example.com" 
    allowed_domains = ["example.com"] 
    start_urls = ["http://www.example.com/"] 
    rules = [Rule(SgmlLinkExtractor(allow=()), 
        follow=True), 
      Rule(SgmlLinkExtractor(allow=()), callback='parse_item') 
    ] 
    def parse_item(self,response): 
     self.log('A response from %s just arrived!' % response.url) 

कृपया मदद करें !!!!

धन्यवाद, अभिराम

Answer 1

नियम शॉर्ट सर्किट, जिसका अर्थ है पहला नियम है कि एक लिंक को संतुष्ट करता है नियम है कि लागू किया जाता है हो जाएगा, (कॉलबैक के साथ) अपने दूसरे नियम बुलाया नहीं किया जाएगा।

यह करने के लिए अपने नियम बदलें:

rules = [Rule(SgmlLinkExtractor(), callback='parse_item', follow=True)] 

Answer 2

जब start_urls पार्स करने, गहरी यूआरएल टैग href से पार्स किया जा सकता। फिर, parse() फ़ंक्शन में गहन अनुरोध प्राप्त किया जा सकता है। Here is a simple example। सबसे महत्वपूर्ण स्रोत कोड नीचे दिखाया गया है:

from scrapy.spiders import Spider 
from tutsplus.items import TutsplusItem 
from scrapy.http import Request 
import re 

class MySpider(Spider): 
    name   = "tutsplus" 
    allowed_domains = ["code.tutsplus.com"] 
    start_urls  = ["http://code.tutsplus.com/"] 

    def parse(self, response): 
     links = response.xpath('//a/@href').extract() 

     # We stored already crawled links in this list 
     crawledLinks = [] 

     # Pattern to check proper link 
     # I only want to get tutorial posts 
     linkPattern = re.compile("^\/tutorials\?page=\d+") 

     for link in links: 
     # If it is a proper link and is not checked yet, yield it to the Spider 
      if linkPattern.match(link) and not link in crawledLinks: 
       link = "http://code.tutsplus.com" + link 
       crawledLinks.append(link) 
       yield Request(link, self.parse) 

     titles = response.xpath('//a[contains(@class, "posts__post-title")]/h1/text()').extract() 
     for title in titles: 
      item = TutsplusItem() 
      item["title"] = title 
      yield item