मैं स्कैर की डाउनलोड गति में सुधार कैसे करूं?

Question

मैं समानांतर में कई अलग-अलग डोमेन से पृष्ठों को डाउनलोड करने के लिए स्केपर का उपयोग कर रहा हूं। मेरे पास डाउनलोड करने के लिए सैकड़ों हजारों पेज हैं, इसलिए प्रदर्शन महत्वपूर्ण है।

दुर्भाग्यवश, जैसा कि मैंने स्केल की गति का प्रोफाइल किया है, मुझे केवल प्रति सेकंड कुछ पेज मिल रहे हैं। वास्तव में, औसतन प्रति पृष्ठ लगभग 2 पृष्ठ। मैंने पहले अपने मल्टीथ्रेड किए गए मकड़ियों को प्रति सेकंड सैकड़ों पृष्ठों को करने के लिए लिखा है - मैंने सोचा कि निश्चित रूप से मुंह के उपयोग के लिए स्केप का उपयोग, इसी तरह के जादू के लिए सक्षम होगा।

मैं स्कैपर को कैसे गति दूं? मुझे वास्तव में ढांचे पसंद है, लेकिन यह प्रदर्शन मुद्दा मेरे लिए एक सौदा-ब्रेकर हो सकता है।

यहां सेटिंग्स.py फ़ाइल का प्रासंगिक हिस्सा है। क्या मुझे कुछ महत्वपूर्ण सेटिंग याद आई है?

LOG_ENABLED = False 
CONCURRENT_REQUESTS = 100 
CONCURRENT_REQUESTS_PER_IP = 8 

कुछ पैरामीटर:

• scrapy संस्करण 0.14
• परियोजना एक EC2 बड़े उदाहरण पर तैनात किया जाता है, तो स्मृति, CPU, और बैंडविड्थ के साथ खेलने के लिए बहुत सारे किया जाना चाहिए का उपयोग करना।
• मैं जेएसओएन प्रोटोकॉल का उपयोग करके क्रॉलिंग शेड्यूल कर रहा हूं, क्रॉलर को किसी भी समय कुछ दर्जन समवर्ती क्रॉल के साथ शीर्ष पर रखा गया है।
• जैसा कि मैंने शुरुआत में कहा था, मैं कई साइटों से पेज डाउनलोड कर रहा हूं, इसलिए दूरस्थ सर्वर प्रदर्शन और CONCURRENT_REQUESTS_PER_IP चिंता नहीं होनी चाहिए।
• इस पल के लिए, मैं बहुत कम पोस्ट-प्रोसेसिंग कर रहा हूं। कोई xpath नहीं; कोई regex नहीं; मैं बस प्रत्येक पृष्ठ के लिए यूआरएल और कुछ बुनियादी आंकड़े बचा रहा हूं। (यह बाद में बदल जाएगा एक बार मैं बुनियादी प्रदर्शन अवरोधों को हटाने के काम मिलता है।)

Answer 1

मैं अतीत में इस समस्या थी ... और यह एक बड़ा हिस्सा मैं एक 'डर्टी' पुराने मुश्किल के साथ हल किया।

Do a local cache DNS।

अधिकतर जब आपके पास यह उच्च सीपीयू उपयोग एक साथ दूरस्थ साइटों तक पहुंच जाता है तो ऐसा इसलिए होता है क्योंकि स्केपर यूआरएल को हल करने का प्रयास कर रहा है।

और कृपया अपने स्थानीय कैशिंग DNS सर्वर पर होस्ट (/etc/resolv.conf) पर अपनी डीएनएस सेटिंग्स को बदलना याद रखें।

पहले में धीरे-धीरे हो जाएगा, लेकिन जैसे ही यह कैशिंग शुरू होता है और यह अधिक कुशल हल हो रहा है कि आप बड़े सुधार देख रहे हैं।

मुझे आशा है कि इससे आपकी समस्या में आपकी मदद मिलेगी!