एक तेज़ पायथन स्पाइडर

Question

लिखना मैं साइट पर क्रॉल करने के लिए पाइथन में एक मकड़ी लिख रहा हूं। परेशानी है, मुझे 2.5 मिलियन पृष्ठों की जांच करने की ज़रूरत है, इसलिए मैं वास्तव में गति के लिए अनुकूलित करने में कुछ मदद कर सकता हूं।

मुझे क्या करना है एक निश्चित संख्या के लिए पृष्ठों की जांच करना है, और यदि यह पृष्ठ के लिंक को रिकॉर्ड करने के लिए मिलता है। मकड़ी बहुत सरल है, इसे बहुत सारे पृष्ठों के माध्यम से क्रमबद्ध करने की जरूरत है।

मैं पाइथन के लिए बिल्कुल नया हूं, लेकिन पहले जावा और सी ++ का उपयोग किया है। मैंने अभी तक इसे कोडिंग शुरू करना शुरू कर दिया है, इसलिए पुस्तकालयों या ढांचे पर शामिल करने के लिए कोई भी सिफारिशें बहुत अच्छी होंगी। किसी भी अनुकूलन युक्तियों की भी सराहना की जाती है।

Answer 1

आप MapReduce इस्तेमाल कर सकते हैं गूगल की तरह, Hadoop (विशेष रूप से अजगर के साथ: 1 और 2) के माध्यम से या तो, Disco, या Happy।

विचार की पारंपरिक रेखा मानक पाइथन में अपना प्रोग्राम लिखती है, अगर आपको लगता है कि यह बहुत धीमा है, profile it, और विशिष्ट धीमी धब्बे को अनुकूलित करें। C/C++ एक्सटेंशन या यहां तक ​​कि ctypes का उपयोग करके, आप इन धीमी गति को तेजी से सी तक छोड़कर कर सकते हैं।

यदि आप केवल एक साइट को घुमा रहे हैं, तो wget -r (an example) का उपयोग करने पर विचार करें।

Answer 2

लाखों अनुरोधों के साथ किसी की साइट को स्पिडर करना बहुत विनम्र नहीं है। क्या आप साइट के संग्रह के लिए वेबमास्टर से पूछ सकते हैं? एक बार आपके पास यह हो जाने के बाद, यह पाठ खोज का एक साधारण मामला है।

Answer 3

आप कहां परिणाम संग्रहीत कर रहे हैं? आप सर्वर के क्लस्टर में आसानी से अपने स्क्रैपिंग को समानांतर करने के लिए PiCloud की क्लाउड लाइब्रेरी का उपयोग कर सकते हैं।

Answer 4

आप स्पाइडरिंग के दौरान नेटवर्क अनुरोधों के लिए बहुत समय बर्बाद करते हैं, इसलिए आप निश्चित रूप से समानांतर में अपने अनुरोध करना चाहते हैं। मैं शायद परिणाम डेटा को डिस्क पर सहेज दूंगा और फिर शब्द की खोज करने वाली फ़ाइलों पर दूसरी प्रक्रिया लूपिंग करूँगा। यदि आपको अतिरिक्त प्रदर्शन की आवश्यकता होती है तो उस चरण को कई मशीनों में आसानी से वितरित किया जा सकता है।

Answer 5

के रूप में आप अजगर के लिए नए हैं, मुझे लगता है कि निम्नलिखित सहायक आप :)

• यदि आप पृष्ठ में निश्चित पैटर्न के लिए खोज करने के लिए, अपने रेगुलर एक्सप्रेशन से भी आप कर सकते हैं और पुन: उपयोग संकलन regex लिख रहे हैं के लिए हो सकता है संकलित ऑब्जेक्ट
• BeautifulSoup एक HTML/xml पार्सर है जो आपके प्रोजेक्ट के लिए कुछ उपयोग हो सकता है।

Answer 6

क्या एडम ने कहा। मैंने Xanga के नेटवर्क को मानचित्रित करने के लिए यह एक बार किया था। जिस तरह से मैंने इसे तेज़ी से बनाया है, वह थ्रेड-सुरक्षित सेट है जिसमें सभी उपयोगकर्ता नाम शामिल हैं जिन्हें मुझे देखना था। तब मेरे पास 5 या तो धागे एक ही समय में अनुरोध कर रहे थे और उन्हें संसाधित कर रहे थे। आप किसी भी पाठ (सबसे अधिक संभावना) को संसाधित करने की तुलना में पृष्ठ को डीएल के लिए प्रतीक्षा करने के लिए और अधिक समय व्यतीत करने जा रहे हैं, इसलिए एक ही समय में प्राप्त होने वाले अनुरोधों की संख्या बढ़ाने के तरीकों को ढूंढें।