scrapy दस्तावेज़ का कहना है कि: (। उर्फ अपलोड)scrapyd का उपयोग करने के फायदे क्या हैं?
Scrapy एक अंतर्निहित सेवा, बुलाया "Scrapyd" है, जो आप इस्तेमाल कर सकते हैं के साथ आता है अपनी परियोजनाओं और एक JSON वेब सेवा का उपयोग उनके मकड़ियों नियंत्रित करते हैं।
क्या कॉम्फोर्मेंस उपयोग स्कैरेड में कुछ फायदे हैं?
स्कैरेड आपको एक आसान वेब एपीआई के माध्यम से एक अलग मशीन पर स्केपर चलाने की अनुमति देता है जिसका मतलब है कि आप केवल curl या यहां तक कि एक वेब ब्राउज़र का उपयोग नए प्रोजेक्ट संस्करण अपलोड करने और उन्हें चलाने के लिए कर सकते हैं। अन्यथा यदि आप कहीं क्लाउड में स्केपर चलाने के लिए चाहते हैं तो आपको scp नए स्पाइडर कोड की प्रतिलिपि बनाना होगा और फिर ssh के साथ लॉगिन करें और अपने scrapy crawl myspider को स्पॉन करें।
यदि आप समानांतर में कई मकड़ियों को चलाने के लिए चाहते हैं तो Scrapyd आपके लिए प्रक्रियाओं का प्रबंधन भी करेगा; लेकिन अगर आपके पास अपनी स्थानीय मशीन पर स्केपर है और कमांड लाइन तक पहुंच है या मकड़ियों को चलाने का एक तरीका है और एक समय में केवल एक मकड़ी चलाने की इच्छा है, तो आप स्पाइडर को मैन्युअल रूप से चलाने से बेहतर हैं।
यदि आप मकड़ियों को विकसित कर रहे हैं तो निश्चित रूप से आप त्वरित संकलन/परीक्षण पुनरावृत्तियों के लिए scrapyd का उपयोग नहीं करना चाहते क्योंकि यह जटिलता की एक परत जोड़ता है।
कुछ समय पहले मैं वास्तव में अपने मकड़ियों को नियंत्रित करने के लिए अजवाइन का उपयोग कर रहा था। इस बनाम के पेशेवरों और विपक्ष क्या होंगे .. – goh
मैं उस वेब एपीआई को कैसे सुरक्षित कर सकता हूं कि कोई पोर्ट स्कैनिंग लोगों को मेरे स्कैरेड परिनियोजन के बारे में पता नहीं है और एक ही एपीआई का उपयोग नहीं कर सकता है? मुझे पता है कि मुझे 3 साल तक देर हो चुकी है, लेकिन मैं अपनी क्वेरी के बारे में कुछ भी नहीं ढूंढ पाया। – harkirat1892