web-crawler

7गर्मी

4उत्तर

उदाहरण के लिए स्केपर में उदाहरण के लिए यदि मेरे पास दो यूआरएल हैं जिनमें अलग-अलग HTML हैं। अब मैं एक के लिए दो अलग-अलग मकड़ियों को लिखना चाहता हूं और दोनों मकड़ियों को एक बार में चलाने के लिए चाहता हू

13गर्मी

4उत्तर

अक्सर अद्यतन वेबपृष्ठों को क्रॉल/इंडेक्स करने के लिए रणनीति?

मैं विशिष्ट साइटों को क्रॉल करने के लिए नच का उपयोग करके एक बहुत ही छोटा, विशिष्ट खोज इंजन बनाने की कोशिश कर रहा हूं। कुछ साइटें समाचार/ब्लॉग साइटें हैं। अगर मैं क्रॉल करता हूं, कहता हूं, techcrunch.c

8गर्मी

4उत्तर

सी # में सरल वेब क्रॉलर

मैं एक सरल वेब क्रॉलर बनाया है, लेकिन मैं प्रत्यावर्तन समारोह जोड़ना चाहते हैं ताकि हर पेज खोला जाता है कि मैं इस पेज में यूआरएल प्राप्त कर सकते हैं, लेकिन मैं पता नहीं कैसे मैं ऐसा कर सकते हैं है और

6गर्मी

1उत्तर

पायथन

के साथ लिंक के href में जावास्क्रिप्ट को निष्पादित करना मैं पाइथन का उपयोग कर साइट पर कुछ पीडीएफ डाउनलोड करने की कोशिश कर रहा हूं (http://bibliotecadigitalhispanica.bne.es)। मैंने urllib/urllib2/मशीनी

7गर्मी

1उत्तर

एसईओ दंडित किए बिना 100K पृष्ठों को एक साथ जोड़ना

मैं ऐसी साइट बना रहा हूं जिसमें इंटरनेट पर सैकड़ों हजारों साइटों की गोपनीयता नीतियों की समीक्षा होगी। इसकी प्रारंभिक सामग्री CommonCrawl 5 बिलियन पेज वेब डंप और analyzing all the privacy policies के म

16गर्मी

5उत्तर

एक सामान्य स्केपर मकड़ी बनाना

मेरा प्रश्न वास्तव में पिछले प्रश्न के समान काम करने के लिए है, लेकिन स्केपर 0.14 में। Using one Scrapy spider for several websites असल में, मैं जीयूआई कि डोमेन, कीवर्ड, टैग नाम, आदि जैसे पैरामीटर लेत

5गर्मी

1उत्तर

मेरे AJAX- आधारित URL को क्रॉल करने से बॉट्स को कैसे रोकें?

मेरे पास मेरे एएसपी.नेट एमवीसी 3 वेबसाइट पर कई पेज हैं (यह नहीं कि तकनीक यहां मायने रखती है), जहां मैं पेज पर <script> टैग में कुछ यूआरएल प्रस्तुत करता हूं, ताकि मेरी जावास्क्रिप्ट (बाहरी फाइल में संग

8गर्मी

1उत्तर

विकिपीडिया से स्थिर HTML फ़ाइलों को प्राप्त करना XML डंप

मैं अपेक्षाकृत अद्यतित स्थिर HTML फ़ाइलों को प्राप्त करने में सक्षम होना चाहता हूं (यहां तक कि जब संकुचित) अंग्रेजी विकिपीडिया एक्सएमएल डंप फ़ाइल enwiki-latest-pages-articles.xml.bz2 मैंने WikiMedia

5गर्मी

1उत्तर

नच: मेटाडेटा

डेटा पढ़ने और जोड़ने के बाद मैंने हाल ही में अपाचे नच को देखना शुरू कर दिया। मैं नच के साथ अपनी रुचि के वेब पृष्ठों को क्रॉल करने और सक्षम करने में सक्षम हो सकता था। मुझे इस डेटा को पढ़ने के तरीके पर

16गर्मी

2उत्तर

अज्ञात कमांड: क्रॉल त्रुटि

मैं अजगर के लिए नौसिखिया हूँ। मैं 64 बिट ओएस पर पायथन 2.7.3 संस्करण 32 बिट चला रहा हूं। (मैंने 64 बिट की कोशिश की लेकिन यह कसरत नहीं किया)। मैंने ट्यूटोरियल का पालन किया और मेरी मशीन पर स्थापित स्केपर