मूल्य तुलना के लिए वेब क्रॉलर का उपयोग

Question

मुझे एक ओपन सोर्स जावा आधारित वेब क्रॉलर चाहिए जो मैं मूल्य तुलना के लिए बढ़ा सकता हूं? मैं मूल्य तुलना कैसे करूं? क्या इसके लिए कोई खुला स्रोत कोड है?

Answer 1

वेब फसल पर एक नजर डालें, तो आप इसे थोड़ा अजीब और वेब पृष्ठों के प्रसंस्करण के लिए अजीब वाक्य रचना है का उपयोग करना होगा, लेकिन काफी यह विस्तार करने के लिए कुछ मूल्य की तुलना करने के लिए यह होना चाहिए:

http://web-harvest.sourceforge.net/samples.php?num=2

Answer 2

किसी भी कारण से आप पहले से ही सैकड़ों मूल्य तुलना साइटों में से एक से अपना डेटा नहीं प्राप्त कर सकते हैं? ऐसा लगता है कि अगलीग या फ्रूगल स्क्रैप करना या अरबों स्टोर वेबसाइटों को स्क्रैप करने के लिए क्रॉलर लिखने के बजाय जो कुछ भी आसान होगा।

Answer 3

कुछ ऐसी चीजें बनाना जो बड़ी संख्या में विभिन्न साइटों से मूल्य की जानकारी को स्क्रैप करता है, बहुत सारे काम होने जा रहा है, भले ही आप स्टोर से खुद को या मौजूदा तुलना साइटों से स्क्रैप करें।

• प्रत्येक का वेबसाइट लेआउट अलग होगा, जिससे आप प्रत्येक के लिए अलग-अलग क्रॉलर को कॉन्फ़िगर कर सकते हैं।

• कुछ वेबसाइटें मूल्य जानकारी को ऐसे तरीकों से पेश कर सकती हैं जो स्क्रैपिंग को मुश्किल बनाती हैं; जैसे AJAX का उपयोग कर।

कुछ वेबसाइट के मालिकों उनके robots.txt फाइलों में प्रासंगिक पृष्ठों दूर रहने के लिए आपको बताने के लिए रखा जाएगा। और यदि आप इसे अनदेखा करते हैं, तो आपके लिए जीवन को कठिन बनाने के लिए वे कई चीजें कर सकते हैं।

अनुमति के बिना बहुत से लोगों की वेबसाइटों को स्क्रैप करने से आपको अलोकप्रिय बना दिया जा सकता है। यह मुकदमे के खतरों को आकर्षित कर सकता है, या उन लोगों से वास्तविक मुकदमा जो आपको लगता है कि आप अपने व्यापार मॉडल को नुकसान पहुंचा रहे हैं। या अन्य प्रतिक्रियाएं ...

क्या आप वाकई वाकई यह करना चाहते हैं? वास्तव में??

Answer 4

कोई भी अपनी साइट को बिना किसी लाभ के अधिभारित करना चाहता है। मुझे लगता है कि आपको अपनी ज़रूरत के लिए क्रॉलर बनाना चाहिए। हालांकि, ध्यान रखें कि उनमें से अधिकतर आपको अवरुद्ध कर सकते हैं या आपकी प्रतिक्रिया धीमे कर सकते हैं। आपको व्यवहार करने की आवश्यकता है जैसे आप एक नहीं हैं और अपनी बैंडविड्थ खा रहे हैं ...

Answer 5

किसी ने यहां कानूनी मुद्दों के बारे में लिखा है। कानूनी मुद्दे सरल नहीं हैं। स्टीफन सी ने मुकदमों के बारे में लिखा लेकिन यह दोनों तरीकों से चला जाता है। विरोधी प्रतिस्पर्धी आचरण से संबंधित कानून का एक बड़ा निकाय है। अगर कोई अपनी कीमतों की रिपोर्ट नहीं करना चाहता है क्योंकि वे मूल्य निर्धारण या झूठे दावों में शामिल हैं, तो वेबसाइटों को गंभीर दंड का सामना करना पड़ता है। कानून मामूली उद्धरण के लिए कुछ नहीं है। आप मूल्य निर्धारण फिक्सिंग कर सकते हैं और अनगिनत कंपनियों पर पहले से लगाए गए बड़े जुर्माना देख सकते हैं।