8
मान लीजिए कि डेटा स्रोत एक कसकर आईपी-आधारित थ्रॉटल सेट करता है। क्या वेब स्क्रैपर का डेटा डाउनलोड करने का कोई तरीका होगा यदि थ्रॉटल अपने अनुरोधों को अस्वीकार करना शुरू कर देता है जैसे डेटा डाउनलोड होने के 1% के रूप में?क्या वेब-स्क्रैपर एक अच्छी थ्रॉटल सुरक्षा के आसपास हो सकता है?
एकमात्र तकनीक जो मैं यहां उपयोग कर एक हैकर के बारे में सोच सकता हूं वह कुछ प्रकार की प्रॉक्सी प्रणाली होगी। लेकिन, ऐसा लगता है कि प्रॉक्सी (यहां तक कि अगर तेज़) अंततः सभी थ्रॉटल तक पहुंच जाएंगे।
अद्यतन: नीचे कुछ लोगों ने याहू पाइप्स और टोर जैसे बड़े प्रॉक्सी नेटवर्क का उल्लेख किया है, लेकिन क्या इन आईपी श्रेणियों या ज्ञात निकास नोड्स को ब्लैकलिस्ट भी नहीं किया जा सकता है?
फिर भी, क्या याहू आईपी अंततः थ्रॉटल नहीं होगा? – babonk
@babonk - संभवतः, लेकिन याहू में बहुत से आईपी हैं ... –