scrapyd

9गर्मी

2उत्तर

का उपयोग कर एक बार में एकाधिक स्क्रैप मकड़ियों को चलाएं मैं एक परियोजना के लिए scrapy का उपयोग कर रहा हूं जहां मैं कई साइटों को स्क्रैप करना चाहता हूं - संभवतः सैकड़ों - और मुझे प्रत्येक साइट के लिए ए

14गर्मी

1उत्तर

अजगर सीखने और भी इस त्रुटि

मैं scrapy ट्यूटोरियल http://doc.scrapy.org/en/latest/intro/tutorial.html के माध्यम से जा रहा हूँ ..getting scrapy को लागू करने की कोशिश कर रहा है और मैं इसे का पालन किया है जब तक मैं इस आदेश scrapy c

12गर्मी

1उत्तर

स्केपर स्पाइडर मेमोरी लीक

मेरे मकड़ी में गंभीर मेमोरी लीक है .. 15 मिनट के बाद इसकी मेमोरी 5 जीबी और स्केपर बताती है (prefs() का उपयोग करके) कि 900k ऑब्जेक्ट्स अनुरोध करता है और यह सब कुछ है। इस उच्च संख्या में जीवित अनुरोध वस

5गर्मी

3उत्तर

जेसन प्रारूप

में scrapyd आइटम्स को कैसे स्टोर करें मैं में scrapyd आइटम स्टोर करने की कोशिश कर रहा हूं। असल में एक json फ़ाइल में डिफ़ॉल्ट यह दुकान आइटम द्वारा लेकिन इस तरह: File_1: {item1} {item2} .... और अगर

7गर्मी

1उत्तर

scrapyd का उपयोग करने के फायदे क्या हैं?

scrapy दस्तावेज़ का कहना है कि: (। उर्फ अपलोड) Scrapy एक अंतर्निहित सेवा, बुलाया "Scrapyd" है, जो आप इस्तेमाल कर सकते हैं के साथ आता है अपनी परियोजनाओं और एक JSON वेब सेवा का उपयोग उनके मकड़ियों निय

5गर्मी

1उत्तर

स्क्रैकर लोडर

का उपयोग करके रिक्त फ़ील्ड वाले आइटमों को अनदेखा करना है, मैं जानना चाहता हूं कि उन सभी वस्तुओं को अनदेखा कैसे करें जो सभी फ़ील्ड भरते हैं, कुछ प्रकार की ड्रॉपिंग, क्योंकि स्कैरेड के आउटपुट में मुझे ऐ

5गर्मी

1उत्तर

स्क्रैप स्पाइडर चलाते समय स्कैरेड इनिट त्रुटि

मैं चार मकड़ियों के साथ क्रॉलर को तैनात करने की कोशिश कर रहा हूं। मकड़ियों से एक XMLFeedSpider उपयोग करता है और खोल और scrapyd से ठीक चलाता है, लेकिन दूसरों BaseSpider का उपयोग करें और जब scrapyd में

5गर्मी

1उत्तर

Scrapyd एक उप निर्देशिका में कोड

हम एक काफी सामान्य Scrapy परियोजना, ऐसा ही कुछ नहीं पा सकते हैं: project/ setup.py scrapy.cfg SOME_DIR_WITH_PYTHON_MODULE/ __init__.py project/ settings.py

6गर्मी

1उत्तर

अनुमति: INJECT_EVENTS अन्य ऐप्स के लिए इंस्ट्रुमेंटेशन के लिए

मुझे पता है कि यह इस अनुमति के बारे में पहला थ्रेड नहीं है, हालांकि अन्य लोग समाप्त नहीं हुए हैं या मेरी मदद नहीं करते हैं। मुझे इंस्ट्रुमेंटेशन का उपयोग करके KeyEvents को बढ़ाने के लिए क्या चाहिए। यह

7गर्मी

4उत्तर

scrapyd

का उपयोग कर प्रोजेक्ट को तैनात करने में त्रुटि मेरे प्रोजेक्ट फ़ोल्डर में कई मकड़ियों थे और सभी मकड़ियों को एक बार में चलाने के लिए चाहते हैं, इसलिए मैंने उन्हें स्कैरेड सेवा का उपयोग करके चलाने का फै