हब्सपॉट ट्रैक इनबाउंड लिंक जैसी साइटें कैसे हैं?

Question

क्या ये सभी प्रकार की साइटें अवैध रूप से Google या अन्य खोज इंजन को स्क्रैप कर रही हैं?
जहां तक ​​मैं कह सकता हूं कि एक वाणिज्यिक साइट के लिए यह डेटा प्राप्त करने का कोई 'कानूनी' तरीका नहीं है .. याहू! एपीआई (http://developer.yahoo.com/search/siteexplorer/V1/inlinkData.html) केवल गैर-वाणिज्यिक उपयोग के लिए है, याहू! बॉस स्वचालित क्वेरी आदि की अनुमति नहीं देता है
कोई विचार?

Answer 1

उदाहरण के लिए, यदि आप गूगल के होमपेज पर सभी लिंक चाहते थे,

link:http://www.google.com 

तो के लिए खोज करता है, तो आप सभी इनबाउंड लिंक पता लगाना चाहते हैं, तो आप बस अपनी वेबसाइट के पेड़ पार कर सकते हैं, और प्रत्येक के लिए आइटम जो पाता है, एक यूआरएल बनाएं। फिर Google के लिए पूछताछ करें:

link:URL 

और आपको अन्य वेबसाइटों से Google की सभी वेबसाइटों का संग्रह मिल जाएगा।

ऐसी कटाई की वैधता के लिए, मुझे यकीन है कि इससे लाभ प्राप्त करने के लिए बिल्कुल कानूनी नहीं है, लेकिन इससे पहले कभी भी किसी को रोक नहीं दिया गया है, है ना?

(तो मैं सोच रहा है कि क्या वे यह किया है या नहीं। बस मान वे करते हैं परेशान नहीं होता।)

Answer 2

मैं, क्या HubSpot कर पता नहीं है, लेकिन यदि आप पता लगाने के लिए क्या साइटों से लिंक करना चाहता था आपकी साइट, और आपके पास वेब को क्रॉल करने के लिए हार्डवेयर नहीं है, एक चीज जो आप कर सकते हैं वह है आपकी साइट पर आगंतुकों के HTTP_REFERER की निगरानी करें। उदाहरण के लिए, Google Analytics (जहां तक ​​मुझे पता है) आपको बता सकता है कि आपके आगंतुक कहां से आ रहे हैं। यह 100% विश्वसनीय नहीं है क्योंकि सभी ब्राउज़रों ने इसे विशेष रूप से "गोपनीयता मोड" में सेट नहीं किया है, लेकिन आपको यह जानने के लिए केवल एक विज़िटर प्रति लिंक चाहिए कि यह मौजूद है!

यह आपके प्रत्येक वेबपृष्ठों (अक्सर एक सामान्य शीर्षलेख या पाद लेख में) में एक स्क्रिप्ट एम्बेड करके पूरा किया जाता है। उदाहरण के लिए, यदि आप उस पृष्ठ के स्रोत की जांच करते हैं जिसे आप वर्तमान में पढ़ रहे हैं तो आपको एक स्क्रिप्ट मिलेगी (नीचे दाईं तरफ) एक स्क्रिप्ट जो आपकी यात्रा के बारे में Google की जानकारी को वापस रिपोर्ट करती है।

अब यह आपको नहीं बताएगा कि वहां कोई लिंक नहीं है, जिसने कभी भी आपकी साइट पर जाने के लिए उपयोग नहीं किया है, लेकिन चलो इसका सामना करते हैं, वे वास्तव में लोगों के उपयोग से बहुत कम दिलचस्प हैं।