क्लाउड सर्वर में पायथन स्क्रिप्ट चलाने का सबसे आसान तरीका क्या है?

Question

मेरे पास एक वेब क्रॉलिंग पायथन लिपि है जो पूर्ण होने में घंटों लगती है, और अपनी स्थानीय मशीन पर पूरी तरह से चलाने के लिए अक्षम है। क्या इसे सरल वेब सर्वर पर तैनात करने का कोई सुविधाजनक तरीका है? लिपि मूल रूप से टेक्स्ट फ़ाइलों में वेबपृष्ठ डाउनलोड करता है। यह सबसे अच्छा कैसे किया जाएगा? धन्यवाद!

Answer 1

चूंकि आपने कहा था कि प्रदर्शन एक समस्या है और आप वेब-स्क्रैपिंग कर रहे हैं, कोशिश करने वाली पहली चीज़ Scrapy फ्रेमवर्क है - यह वेब-स्क्रैपिंग फ्रेमवर्क का उपयोग करने में बहुत तेज़ और आसान है। scrapyd टूल आपको क्रॉलिंग वितरित करने की अनुमति देगा - आपके पास अलग-अलग सर्वरों पर चलने वाली कई scrapyd सेवाएं हो सकती हैं और प्रत्येक के बीच लोड विभाजित कर सकती हैं। देखें:

• Distributed crawls
• Running Scrapy on Amazon EC2

वहाँ भी है वहाँ बाहर एक Scrapy Cloud सेवा:

Scrapy बादल एक मजबूत, fully- साथ अत्यधिक कुशल Scrapy विकास पर्यावरण पुल पर विशेष उत्पादन वातावरण तैनात और अपने क्रॉल चलाएं। यह स्प्रैपी के लिए हेरोकू की तरह है, हालांकि अन्य प्रौद्योगिकियों को निकट भविष्य में समर्थित किया जाएगा। यह स्क्रैपिंगहब मंच के शीर्ष पर चलता है, जिसका अर्थ है कि आपकी परियोजना मांग पर आवश्यक हो सकती है।

Answer 2

ऐसे कई स्थान हैं जहां आप ऐसा कर सकते हैं। बस "क्लाउड इन क्लाउड" के लिए Google, आप कुछ के साथ आएंगे, उदाहरण के लिए https://www.pythonanywhere.com/।

इसके अलावा, कई क्लाउड आईडीई भी हैं जो अनिवार्य रूप से आपको एक छोटा वीएम मुफ्त में देते हैं जहां आप वेब-आधारित आईडीई में अपना कोड विकसित कर सकते हैं और इसे वीएम में भी चला सकते हैं, एक उदाहरण http://www.c9.io है।

Answer 3

पहले से दिए गए समाधानों के विकल्प के रूप में, मैं हेरोकू का सुझाव दूंगा। आप न केवल वेबसाइट को आसानी से तैनात कर सकते हैं, बल्कि बॉट्स को चलाने के लिए स्क्रिप्ट भी कर सकते हैं।

मूल खाता नि: शुल्क है और यह बहुत लचीला है।

This blog entry, this one और this video में इसे काम करने के तरीके के व्यावहारिक उदाहरण शामिल हैं।