स्केपर: लिंक और टेक्स्ट निकालें

Question

मैं स्केपर के लिए नया हूं और मैं Ikea वेबसाइट वेबपृष्ठ को स्क्रैप करने की कोशिश कर रहा हूं। here दिए गए स्थानों की सूची वाला मूल पृष्ठ।

मेरे items.py फ़ाइल नीचे दिया गया है

import scrapy 


class IkeaItem(scrapy.Item): 

    name = scrapy.Field() 
    link = scrapy.Field() 

और मकड़ी नीचे दिया गया है

import scrapy 
from ikea.items import IkeaItem 
class IkeaSpider(scrapy.Spider): 
    name = 'ikea' 

    allowed_domains = ['http://www.ikea.com/'] 

    start_urls = ['http://www.ikea.com/'] 

    def parse(self, response): 
     for sel in response.xpath('//tr/td/a'): 
      item = IkeaItem() 
      item['name'] = sel.xpath('a/text()').extract() 
      item['link'] = sel.xpath('a/@href').extract() 

      yield item 

फ़ाइल मैं किसी भी उत्पादन नहीं मिल रहा है चल रहा है पर। जेसन फ़ाइल आउटपुट कुछ ऐसा है:

[[{"link": [], "name": []} 

जो आउटपुट मैं ढूंढ रहा हूं वह स्थान और लिंक का नाम है। मुझे कुछ नहीं मिल रहा है। मैं गलत कहां जा रहा हूं?

Answer 1

आइटम फ़ील्ड के लिए xpath अभिव्यक्तियों के अंदर एक साधारण गलती है। लूप पहले से ही a टैग पर जा रहा है, आपको आंतरिक xpath अभिव्यक्तियों में a निर्दिष्ट करने की आवश्यकता नहीं है। दूसरे शब्दों में, वर्तमान में आप a टैग a टैग td के अंदर tr के अंदर खोज रहे हैं। जो स्पष्ट रूप से कुछ भी नहीं परिणाम।

text() और @href साथ a/@href साथ a/text() बदलें।

(परीक्षण किया - मेरे लिए काम करता है)

Answer 2

इस प्रयोग ....

item['name'] = sel.xpath('//a/text()').extract() 
    item['link'] = sel.xpath('//a/@href').extract()