स्केपर: सभी बाहरी लिंक स्टोर करें और सभी इंटरल लिंक को क्रॉल करें

Question

मैं एक स्क्रैप वेब स्क्रैपर पर काम कर रहा हूं जो एक प्रारंभिक यूआरएल से सभी आंतरिक लिंक के माध्यम से क्रॉल करता है और केवल scrapy के साथ बाहरी लिंक एकत्र करता है। हालांकि, मेरी मुख्य समस्या बाहरी लिंक और आंतरिक लिंक वर्गीकृत कर रही है। उदाहरण के लिए, जब मैं link.startswith("http") or link.startswith("ftp") or link.startswith("www") के साथ बाहरी लिंक को फ़िल्टर करने का प्रयास करता हूं, तो वेबसाइट /about के बजाय एक पूर्ण पथ (www.my-domain.com/about) के साथ अपनी वेबसाइट को लिंक करती है, तो यह बाहरी लिंक के रूप में इसे वर्गीकृत करेगी, भले ही यह न हो। निम्नलिखित मेरा कोड है:

import scrapy 
from lab_relationship.items import Links 

class WebSpider(scrapy.Spider): 
    name = "web" 
    allowed_domains = ["my-domain.com"] 
    start_urls = (
     'www.my-domain.com', 
    ) 

    def parse(self, response): 
     """ finds all external links""" 
     items = [] 
     for link in set(response.xpath('//a/@href').extract()): 
      item = Links() 
      if len(link) > 1: 
       if link.startswith("/") or link.startswith("."): 
        # internal link 
        url = response.urljoin(link) 
        item['internal'] = url 
        #yield scrapy.Request(url, self.parse) 
       elif link.startswith("http") or link.startswith("ftp") or link.startswith("www"): 
        # external link 
        item['external'] = link 
       else: 
        # misc. links: mailto, id (#) 
        item['misc'] = link 
       items.append(item) 
     return items 

कोई सुझाव?

Answer 1

link extractor का उपयोग करें।

तत्काल होने पर आपको अनुमति डोमेन पास करना होगा। आपको आवश्यक टैग निर्दिष्ट करने के बारे में चिंता करने की आवश्यकता नहीं है, क्योंकि (दस्तावेज़ों के अनुसार) पैरामीटर tags डिफ़ॉल्ट रूप से ('a', 'area') लेता है।

जंग लैंग वेबसाइट के उदाहरण पर, कोड सभी आंतरिक लिंक मुद्रित करने के लिए अपने डोमेन से दिखाई देगा:

import scrapy 
from scrapy.linkextractors import LinkExtractor 


class RustSpider(scrapy.Spider): 
    name = "rust" 
    allowed_domains = ["www.rust-lang.org"] 
    start_urls = (
     'http://www.rust-lang.org/', 
    ) 

    def parse(self, response): 
     extractor = LinkExtractor(allow_domains='rust-lang.org') 
     links = extractor.extract_links(response) 
     for link in links: 
      print link.url 

और उत्पादन में इस तरह के लिंक की एक सूची होगा: https://doc.rust-lang.org/nightly/reference.html (मैं कर सकते हैं ' टी अधिक पोस्ट करें), जबकि स्टैक ओवरफ्लो जैसे सभी लिंक को छोड़कर।

कृपया प्रलेखन पृष्ठ को देखना सुनिश्चित करें, क्योंकि लिंक निकालने वाले के पास कई पैरामीटर हैं जिनकी आपको आवश्यकता हो सकती है।

Answer 2

यदि एकाधिक या कथन ले सकते हैं, तो केवल दो नहीं।