2009-08-03 19 views
7

मैं अपने विश्वविद्यालय के पाठ्यक्रमों में से एक के लिए स्नातक प्रोजेक्ट पर काम कर रहा हूं, और मुझे सी # से लिखे गए कई क्रॉलर चलाने के लिए मुझे कुछ जगह चाहिए। कोई वेब होस्टिंग अनुभव के साथ, मैं थोड़ा खो गया हूँ। क्या ऐसा कुछ है जो किसी भी साइट की अनुमति देता है? क्या मुझे एक विशेष होस्ट की आवश्यकता है जो सर्वर तक अधिक पहुंच प्रदान करे? क्रॉलर एक साधारण ऐप है जो इसके काम करता है, फिर समय-समय पर दूरस्थ डेटाबेस को जानकारी लिखता है।किस प्रकार का वेब होस्ट आपको क्रॉलर चलाने देता है?

+1

क्या आप इसे अपने डेस्कटॉप/लैपटॉप कंप्यूटर या विश्वविद्यालय के सर्वर पर नहीं चला सकते हैं? –

उत्तर

6

एक वेब क्रॉलर सामान्य उपयोगकर्ता का सिमुलेशन है। यह ब्राउजर जैसे साइटों को स्वीकार करता है, सर्वर से लौटाए गए एचटीएमएल कोड (जावास्क्रिप्ट, आदि) प्राप्त कर रहा है (इसलिए सर्वर कोड में कोई आंतरिक पहुंच नहीं है)। ऐसा होने पर, किसी भी साइट को क्रॉल किया जा सकता है।

कुछ web crawler ethics guidelines से अवगत रहें। ऐसे पृष्ठ हैं जिन्हें आपको अनुक्रमित नहीं करना चाहिए या इसके लिंक का पालन नहीं करना चाहिए। और वेब डेवलपर्स वेब क्रॉलर को कुछ फाइलें और निर्देश बनाते हैं, यह कहते हुए कि आप क्या इंडेक्स कर सकते हैं या अनुसरण कर सकते हैं।

0

आपको एक वीपीएस (वर्चुअल प्राइवेट सर्वर) या समर्पित सर्वर पर पूर्ण आवश्यकता होगी। क्रॉलर कुछ और अनुप्रयोग नहीं हैं जो इंटरनेट को "क्रॉल" करते हैं। जबकि आप एक क्रॉलर होने के लिए एक वेबसाइट स्थापित कर सकते हैं, यह व्यावहारिक नहीं है क्योंकि वेब पेज को आपके लिए काम करने के लिए क्रॉलर तक पहुंचा जाना होगा। मेजबान के लिए नियमों के उपयोग के लिए आपको यह देखने के लिए मेजबान के लिए ToS (सेवा की शर्तें) पढ़नी होगी। यदि आप बहुत अधिक बैंडविड्थ का उपयोग करने का प्रयास करते हैं, भले ही उन्होंने आपको उपयोग करने के लिए बहुत कुछ दिया है, तो कुछ कम कीमत वाले मेजबान "नेटवर्क पर नकारात्मक प्रभाव डालते हैं" के कारण से आपका कनेक्शन घटाएंगे।

वीपीएस एक लिनक्स सर्वर के लिए $ 30-80 और विंडोज सर्वर के लिए $ 60 + हैं। समर्पित सेवाएं लिनक्स और विंडोज सर्वर दोनों के लिए $ 100 + चलाती हैं।

0

आपको अपने मकड़ी को चलाने के लिए किसी भी वेब होस्टिंग की आवश्यकता नहीं है। बस वेब कनेक्शन के साथ एक पीसी के लिए पूछें जो एक समर्पित सर्वर के रूप में कार्य कर सकता है, डेटाबेस को कॉन्फ़िगर कर सकता है और वहां से क्रॉलर चला सकता है।

1

ऐसा लगता है कि वेब होस्टिंग के साथ ऐसा कुछ नहीं लगता है। आपको बस एक इंटरनेट कनेक्शन और डेटाबेस सर्वर के साथ एक मशीन की जरूरत है।

यदि मैं आप थे तो मैं आपके विश्वविद्यालय से जांच करूंगा। कम से कम मेरे समय में, स्नातक प्रोजेक्ट में आने पर घर में व्यवस्था करना बहुत संभव था।

विफल होने पर, आप एक साधारण वीपीएस (Virtual Private Server) खाते में देख सकते हैं। जब तक आप सुनिश्चित न हों कि आपका ऐप Mono के अंतर्गत चलता है, तो आपको एक विंडोज़ की आवश्यकता होगी। संसाधन सीमा आमतौर पर एक समर्पित सर्वर से प्राप्त होने से बहुत कम होती है, लेकिन वे अपेक्षाकृत किफायती हैं। कुछ एमएस एसक्यूएल सर्वर डेटाबेस की पेशकश करेंगे जो आप वीपीएस खाते (किसी अन्य मशीन पर) के बगल में उपयोग कर सकते हैं। वीपीएस पर एसक्यूएल सर्वर स्थापित करना लाइसेंस समस्या के रूप में एक समस्या हो सकती है।

सुनिश्चित करें कि आप खाता खोलने से पहले उपयोग की शर्तों की जांच करें, साथ ही (वर्चुअल) सिस्टम चश्मा। यह भी जांचें कि क्या न्यूनतम अनुबंध अवधि है। कभी-कभी यह एक महीने से अधिक हो सकता है, खासकर यदि कोई सेटअप शुल्क नहीं है।

यदि संभव हो तो, एक होस्ट ढूंढें जो भौगोलिक दृष्टि से आपके नज़दीक है। रिमोट डेस्कटॉप का उपयोग कर दूरस्थ रूप से पहुंचने के लिए दुनिया के दूसरी तरफ एक सर्वर थोड़ा परेशान हो सकता है।

1

यदि आप इसे किसी कारण से अपने डेस्कटॉप से ​​नहीं चला सकते हैं, तो आपको एक होस्ट की आवश्यकता होगी जो आपको मनमानी सी # कोड निष्पादित करने दे। संभावित सस्ते प्रभावों के कारण अधिकांश सस्ते वेब सर्वर ऐसा नहीं करते हैं, क्योंकि एक ही सर्वर पर कई अन्य लोग चलेंगे।

इसका मतलब है कि आपको उस सर्वर पर होना होगा जहां आपका अपना ओएस है।या तो एक वीपीएस - वर्चुअल प्राइवेट सर्वर, जहां वर्चुअलाइजेशन का उपयोग आपको अपना ओएस देने के लिए किया जाता है लेकिन हार्डवेयर - या अपना समर्पित सर्वर साझा करें, जहां आपके पास हार्डवेयर और सॉफ़्टवेयर दोनों हैं।

ध्यान दें कि यदि आप किसी भी सर्वर पर साझा किए गए सर्वर पर चल रहे हैं, तो आपको अपने पड़ोसियों के लिए समस्याएं पैदा करने के लिए स्वयं को थ्रॉटल करना सुनिश्चित करना होगा; आपका प्राथमिक मुद्दा बहुत अधिक CPU या बैंडविड्थ का उपयोग नहीं करेगा। यह सिर्फ विनम्रता के लिए नहीं है - यदि आप अपने नेटवर्क पर समस्याएं पैदा कर रहे हैं, तो अधिकांश वेब होस्ट आपकी होस्टिंग को निलंबित कर देंगे, जैसे कि आप अपने आप को उपभोग कर रहे हार्डवेयर के अन्य उपयोगकर्ताओं को अस्वीकार कर रहे हैं। आप आम तौर पर उच्च उपयोग के स्तर को फट सकते हैं, लेकिन यदि आप उन्हें एक महत्वपूर्ण अवधि के लिए बनाए रखते हैं तो वे आपको काट देंगे।

1

80legs आपको अपने क्रॉलर का उपयोग अपने प्रोग्राम के साथ लाखों वेब पृष्ठों को संसाधित करने की सुविधा देता है।

दरों रहे हैं:

  • $ 2,00 प्रति दस लाख पृष्ठों
  • $ 0.03 प्रति सीपीयू घंटे

वे 2 अरब वेब पृष्ठों एक दिन क्रॉल करने के लिए दावा करते हैं।

संबंधित मुद्दे