मैं अपनी वेबसाइट से सभी URL की सूची बनाना अजगर Scrapy मॉड्यूल का उपयोग करते हैं?

Question

मैं अपनी वेबसाइट से किए गए सभी URL स्क्रैप और एक फाइल करने के लिए सूची में लिखने के लिए अजगर Scrapy module उपयोग करना चाहते हैं। मैंने उदाहरणों में देखा लेकिन ऐसा करने के लिए कोई आसान उदाहरण नहीं देखा।

from scrapy.selector import HtmlXPathSelector 
from scrapy.spider import BaseSpider 
from scrapy.http import Request 

DOMAIN = 'example.com' 
URL = 'http://%s' % DOMAIN 

class MySpider(BaseSpider): 
    name = DOMAIN 
    allowed_domains = [DOMAIN] 
    start_urls = [ 
     URL 
    ] 

    def parse(self, response): 
     hxs = HtmlXPathSelector(response) 
     for url in hxs.select('//a/@href').extract(): 
      if not (url.startswith('http://') or url.startswith('https://')): 
       url= URL + url 
      print url 
      yield Request(url, callback=self.parse) 

सहेजें इस spider.py नामक एक फाइल में:

Answer 1

यहाँ अजगर प्रोग्राम है जो मेरे लिए काम किया है।

इसके बाद आप प्रक्रिया इस पाठ पोस्ट करने के लिए एक खोल पाइप लाइन का उपयोग कर सकते हैं:

bash$ scrapy runspider spider.py > urls.out 
bash$ cat urls.out| grep 'example.com' |sort |uniq |grep -v '#' |grep -v 'mailto' > example.urls 

यह मैं अपनी साइट में सभी अद्वितीय URL की एक सूची देता है। * कुछ कोशिश * और फिर आ एक के बारे में एक सवाल पूछ -

Answer 2

कुछ क्लीनर (और शायद अधिक उपयोगी) का उपयोग कर LinkExtractor

from scrapy.linkextractors import LinkExtractor 

    def parse(self, response): 
     le = LinkExtractor() # empty for getting everything, check different options on documentation 
     for link in le.extract_links(response): 
      yield Request(link.url, callback=self.parse)