की नैतिकता मेरे पास एक गंभीर सवाल है। क्या वेबसाइट पर robots.txt फ़ाइल की उपस्थिति को अनदेखा करना कभी नैतिक है? ये कुछ विचार हैं जो मुझे दिमाग में मिला है:robots.txt
यदि कोई वेबसाइट बनाता है तो वे कुछ यात्राओं की उम्मीद कर रहे हैं। अनुमोदित, वेब क्रॉलर साइट पर समर्थन देने वाले विज्ञापनों पर क्लिक किए बिना बैंडविड्थ का उपयोग कर रहे हैं लेकिन साइट स्वामी वेब पर अपनी साइट डाल रहा है, ठीक है, तो उनके लिए यह उम्मीद करना कितना उचित है कि उन्हें कभी भी बॉट द्वारा नहीं देखा जाएगा?
कुछ साइटें स्पष्ट रूप से Google या किसी अन्य उपयोगिता द्वारा क्रॉल होने से रोकने के लिए robots.txt का उपयोग करती हैं जो कीमतें पकड़ सकती है और इसलिए लोगों को मूल्य तुलना आसानी से करने की अनुमति देती है। उनके पास साइट पर निजी खोज इंजन हैं ताकि वे स्पष्ट रूप से लोगों को साइट खोज सकें; स्पष्ट रूप से वे नहीं चाहते हैं कि लोग आसानी से अन्य विक्रेताओं के साथ अपनी जानकारी की तुलना कर सकें।
जैसा कि मैंने कहा, मैं तर्कवादी होने की कोशिश नहीं कर रहा हूं; मैं सिर्फ यह जानना चाहूंगा कि क्या कोई कभी ऐसे मामले के साथ आया है जहां robots.txt फ़ाइल की उपस्थिति को अनदेखा करने के लिए नैतिक रूप से अनुमत है? मैं ऐसे मामले के बारे में नहीं सोच सकता जहां robots.txt को अनदेखा करना अनुमत है क्योंकि मुख्य रूप से लोग (या व्यवसाय) अपनी वेबसाइटें रखने के लिए पैसे दे रहे हैं ताकि वे दुनिया के गुगल/याहू/अन्य एसई को बताने में सक्षम हो सकें कि वे अपने सूचकांक पर नहीं होना चाहते हैं।
इस चर्चा को संदर्भ में रखने के लिए, मैं एक मूल्य तुलना वेबसाइट बनाना चाहता हूं और प्रमुख विक्रेताओं में से एक robots.txt है जो मूल रूप से किसी को अपनी कीमतों को पकड़ने से रोकता है। मैं उनकी जानकारी प्राप्त करने में सक्षम होना चाहता हूं, लेकिन जैसा कि मैंने कहा था, मैं बस साइट के मालिक की इच्छाओं को अनदेखा करने का औचित्य सिद्ध नहीं कर सकता।
मैं यहाँ कुछ बहुत तेज चर्चा देखा है और यही कारण है मैं डेवलपर्स कि स्टैक ओवरफ़्लो पालन की राय सुनना पसंद करेंगे है।
वैसे, वहाँ एक Hacker News question पर इस विषय के कुछ चर्चा है, लेकिन वे मुख्य रूप से इस के कानूनी पहलुओं पर ध्यान केंद्रित करने लगते हैं।
@ एंड्रेई: यह था क्योंकि मैंने इसे वोट दिया था। यह _not_ मेरे लिए एक वैध प्रश्न प्रतीत नहीं होता है, जब तक कि आप "बुरा व्यवहार करने वाले प्रश्न या बदतर" को मान्य मानते हैं। –
@ जॉन सॉंडर्स - मैं वास्तव में ऐसे मामले की कल्पना नहीं कर सकता जहां robots.txt को अनदेखा करना ठीक रहेगा। हालांकि, मुझे एहसास है कि ऐसी स्थितियां हो सकती हैं जिन्हें मैंने नहीं माना है। मैं वास्तव में खुले दिमाग रखने की कोशिश कर रहा हूं। –
@ ओनोरीओ: अगर ऐसा है, तो चलिए अच्छे कारण सुनें। अनुपस्थित एक अच्छा कारण है, मुझे लगता है कि कोई नहीं है। –