मुझे अभी स्केपर सेटअप और चल रहा है और यह बहुत अच्छा काम करता है, लेकिन मेरे पास दो (नोब) प्रश्न हैं। मुझे पहले कहना चाहिए कि मैं स्केपर और स्पाइडरिंग साइटों के लिए बिल्कुल नया हूं।स्केपर Django सीमा लिंक क्रॉल
क्या आप क्रॉल किए गए लिंक की संख्या सीमित कर सकते हैं? मेरे पास ऐसी साइट है जो पेजिनेशन का उपयोग नहीं करती है और बस अपने होम पेज पर कई लिंक (जो मैं क्रॉल करता हूं) सूचीबद्ध करता हूं। मुझे उन सभी लिंकों को क्रॉल करना बुरा लगता है जब मुझे वास्तव में केवल पहले 10 या तो क्रॉल करने की आवश्यकता होती है।
आप एक साथ कई मकड़ियों को कैसे चलाते हैं? अभी मैं
scrapy crawl example.comकमांड का उपयोग कर रहा हूं, लेकिन मेरे पास example2.com और example3.com के लिए मकड़ियों भी हैं। मैं एक आदेश का उपयोग कर अपने सभी मकड़ियों को चलाने के लिए चाहता हूँ। क्या यह संभव है?
एक बार साइट को स्क्रैप करने से आप उस साइट से प्रतिबंधित हो सकते हैं, और यह खराब/असभ्य अभ्यास है। स्केपर समवर्ती है इसलिए यह कई कनेक्शनों के साथ इसे एक साथ मार रहा है। टाइमआउट सेटिंग के लिए कॉन्फ़िगरेशन सेटिंग्स में देखें। –
क्या आपको मेरे दूसरे प्रश्न के बारे में कोई जानकारी है? ऐसा लगता है कि शायद यह वास्तव में कुछ स्पष्ट है कि मुझे याद आ रही है। – imns
एकाधिक मकड़ियों को एक बार उपयोग करने के लिए: 'scrapy crawl example.com example2.com example3.com' –