स्केपर में क्लाउडफ्लेयर बॉट/डीडीओएस सुरक्षा को कैसे बाईपास करें?

Question

मैं उत्पाद की कीमतों की जानकारी प्राप्त करने के लिए कभी-कभी ई-कॉमर्स वेबपृष्ठ को स्क्रैप करता था। मैंने थोड़ी देर में स्कैचर का उपयोग करके बनाए गए स्क्रैपर का उपयोग नहीं किया है और कल इसका उपयोग करने की कोशिश कर रहा था - मैं बॉट सुरक्षा के साथ एक समस्या में भाग लेता हूं।

यह क्लाउडफ्लेयर की डीडीओएस सुरक्षा का उपयोग कर रहा है जो मूल रूप से जेएस अक्षम के साथ ब्राउज़र (और इसलिए स्क्रैपर्स) को फ़िल्टर करने के लिए जावास्क्रिप्ट मूल्यांकन का उपयोग कर रहा है। एक बार समारोह का मूल्यांकन हो जाने के बाद, गणना संख्या के साथ प्रतिक्रिया उत्पन्न होती है। बदले में, सेवा दो प्रमाणीकरण कुकीज़ भेजती है जो प्रत्येक अनुरोध से जुड़ी होती हैं जो आम तौर पर साइट को क्रॉल करने की अनुमति देती हैं। Here का विवरण यह कैसे काम करता है।

मुझे cloudflare-scrape पायथन मॉड्यूल भी मिला है जो संख्या की गणना करने के लिए बाहरी जेएस मूल्यांकन इंजन का उपयोग करता है और अनुरोध को सर्वर पर वापस भेजता है। मुझे यकीन नहीं है कि इसे Scrapy में एकीकृत कैसे करें। या शायद जेएस निष्पादन का उपयोग किए बिना एक बेहतर तरीका है? अंत में, यह एक रूप है ...

मैं किसी भी मदद की सराहना करता हूं।

Answer 1

इसलिए मैंने cloudflare-scrape की सहायता से पायथन का उपयोग करके जावास्क्रिप्ट निष्पादित किया।

def start_requests(self): 
    cf_requests = [] 
    for url in self.start_urls: 
     token, agent = cfscrape.get_tokens(url, 'Your prefarable user agent, _optional_') 
     cf_requests.append(Request(url=url, 
         cookies={'__cfduid': token['__cfduid']}, 
         headers={'User-Agent': agent})) 
    return cf_requests 

पार्स कार्यों के साथ-साथ:

अपने स्क्रेपर लिए, आप निम्न कोड जोड़ने की जरूरत। और बस!

बेशक, आपको क्लाउडफ्लेयर-स्क्रैप को पहले स्थापित करना होगा और इसे अपने मकड़ी पर आयात करना होगा। आपको एक जेएस निष्पादन इंजन स्थापित करने की भी आवश्यकता है। मेरे पास नोड था। जेएस पहले से ही कोई शिकायत नहीं थी।

Answer 2

स्पष्ट रूप से ऐसा करने का सबसे अच्छा तरीका क्लाउडफ्लारे में आपके आईपी को श्वेतसूची में रखना होगा; यदि यह उपयुक्त नहीं है तो मुझे cloudflare-scrape लाइब्रेरी की अनुशंसा करें। आप कुकी टोकन प्राप्त करने के लिए इसका उपयोग कर सकते हैं, फिर सर्वर पर वापस अपने Scrapy request में इस कुकी टोकन प्रदान करें।

Answer 3

स्क्रैपिंग प्रक्रिया के दौरान थोड़ी सी गति से समझौता करना ठीक है, तो आप ब्राउज़र के साथ वास्तविक उपयोगकर्ता इंटरैक्शन को अनुकरण करने के लिए सेलेनियम के साथ स्केरेपी को जोड़ सकते हैं। मैंने यहां इसके बारे में एक संक्षिप्त ट्यूटोरियल लिखा: http://www.6020peaks.com/2014/12/how-to-scrape-hidden-web-data-with-python।

यह क्लाउडफ्लेयर के साथ आपकी विशिष्ट समस्या को लक्षित नहीं करता है, लेकिन इससे कुछ मदद मिल सकती है क्योंकि कुछ जेएस निष्पादन की आवश्यकता वाले डेटा को लोड करते समय मुझे समान समस्याएं थीं।