के साथ वेब स्क्रैपिंग मैं कुछ वेबसाइट स्क्रैप करने और आरएसएस फ़ीड के रूप में डेटा को पुन: प्रकाशित करने की कोशिश कर रहा हूं। Google App Engine के साथ सेटअप करना कितना मुश्किल है? जीएई का उपयोग कर नुकसान और लाभ। किसी भी सिफारिशें और दिशानिर्देशों की बहुत सराहना की!Google App Engine
Google AppEngine आपको अधिक से अधिक कार्यक्षमता (और जटिलता) प्रदान करता है, यदि आपको वास्तव में कुछ करना होगा तो आरएसएस के रूप में कुछ संरचित डेटा को दोबारा प्रकाशित करना होगा। व्यक्तिगत रूप से, मैं इस तरह के कार्य के लिए Yahoo pipes जैसे कुछ का उपयोग करूंगा।
कहा जा रहा है ... यदि आप चाहते हैं कि जीएई के साथ अपने पैरों को गीला करने की जरूरत है, तो इसके लिए जाओ!
इससे अधिक कठिन अन्य तकनीकों में होगा।
GAE की तरह निर्धारित बैच सामान अब इस तरह की है, लेकिन यह वास्तव में उस प्रकार की चीज़ के लिए नहीं है। इस विशेष कार्य के लिए किसी भी अन्य भाषा और मंच को चुनें, और आप अपना जीवन बहुत आसान बना देंगे।
Google ऐप इंजन के साथ काम करना काफी सीधे है। मैं Getting Started guide के माध्यम से जाने की अनुशंसा करता हूं। यह आवश्यक जीएई विषयों पर छोटा और सरल और स्पर्श करता है। यहां सूचीबद्ध होने की तुलना में अधिक पेशेवर और विपक्ष हैं।
सकारात्मक:
सामान्य तौर पर, App इंजन उच्च यातायात वेब अनुप्रयोगों पैमाने पर करने की जरूरत है कि के लिए बनाया गया है। इसके अलावा, यह एक प्रोग्रामर के परिप्रेक्ष्य से बनाया गया है। स्केलेबिलिटी मुद्दों में से अधिकांश (डेटाबेस अनुकूलन, सर्वर प्रशासन, आदि) Google द्वारा निपटाए जाते हैं। ऐसा कहकर, मुझे लगता है कि यह एक अच्छा मंच है। यह अभी भी Google इंजीनियरों द्वारा सक्रिय रूप से विकसित किया जा रहा है, और कार्यों का शेड्यूलिंग (एक सुविधा जिसे लंबे समय से अनुरोध किया गया है) वर्तमान सड़क मानचित्र में है।
विपक्ष:
शायद सबसे बड़ी नकारात्मक पक्ष यह अभी फिर से आधिकारिक शेड्यूलिंग समर्थन की कमी और कोटा सीमाओं वर्तमान में मुक्त खातों के लिए निर्धारित है। हालांकि यदि आप इसे मुफ्त में शिकायत नहीं कर सकते हैं। वर्तमान में यह केवल प्रोग्रामिंग इंटरफ़ेस के रूप में पाइथन का समर्थन करता है (हालांकि एक नई भाषा [जावा I भविष्यवाणी] जल्द ही आ रही है)। इसके अलावा, पायथन 2.6 (और उस मामले के लिए 3.0) अभी तक समर्थित नहीं हैं। इसके अलावा, Django 1.0 आधिकारिक रूप से ऐप इंजन में समर्थित नहीं है (हालांकि आप package Django 1.0 with your application कर सकते हैं)।
मुझे लगता है कि BeautifulSoup GAE पर चल सके, तो अपने सभी स्क्रैप की जरूरत नियंत्रित किया जाता है: डी इसके अलावा, GAE एक geturl thingy है। एकमात्र समस्या जो मुझे लगता है कि आपके पास डेटा प्राप्त करने के लिए पर्याप्त समय नहीं है (30 सेकंड सीमा)।
मैं एक ही प्रोजेक्ट पर काम कर रहा हूं और मैंने फैसला किया है कि किसी अन्य सर्वर पर डेटा तैयार करना और उन्हें GAE पर धक्का देना आसान है।
आप Yahoo! Query Language (YQL)
पर भी देखना चाहेंगे