क्या स्पाइडर/क्रॉलर को किसी पृष्ठ को शामिल या बहिष्कृत करने के लिए मेटा टैग * या robots.txt फ़ाइल का उपयोग करना बेहतर है?मेटा टैग बनाम robots.txt
क्या मेटा टैग और robots.txt दोनों का उपयोग करने में कोई समस्या है?
* उदाहरण के लिए: <#META name="robots" content="index, follow">
Robots.txt IMHO।
मेटा टैग विकल्प अलग-अलग फ़ाइलों को इंडेक्स न करने के लिए बॉट्स को बताता है, जबकि Robots.txt का उपयोग संपूर्ण निर्देशिकाओं तक पहुंच प्रतिबंधित करने के लिए किया जा सकता है।
निश्चित रूप से, मेटा टैग का उपयोग करें यदि आपके पास इंडेक्स किए गए फ़ोल्डर्स में अजीब पृष्ठ है जिसे आप छोड़ना चाहते हैं, लेकिन आम तौर पर, मैं आपको एक या अधिक फ़ोल्डरों में अपनी अधिकांश अनुक्रमित सामग्री की अनुशंसा करता हूं और robots.txt का उपयोग करता हूं बहुत छोड़ो। एक इनकार रद्द होगा एक अनुमति देते हैं अगर वहाँ सामान्य शब्दों में एक संघर्ष है, -
नहीं, नहीं दोनों का प्रयोग करने में कोई समस्या है।
हालांकि मैं खुद को Robots.txt के लिए भी जाना चाहता हूं, क्या यह संभव नहीं है कि डोडी रोबोट केवल उस फ़ाइल का उपयोग कर सकें जो नई निर्देशिकाओं की सुविधाजनक सूची प्राप्त करने के लिए स्पाइडर कर सकता है? जबकि मेटा टैग के साथ, उनके पास पहले स्थान पर गैर-लिंक किए गए पृष्ठ को खोजने का कोई तरीका नहीं होगा ... बस एक विचार! – Codecraft
@Codecraft यह सच हो सकता है, लेकिन इस तरह आपको अनधिकृत उपयोगकर्ताओं को संवेदनशील जानकारी प्रदर्शित नहीं करनी चाहिए। 'robots.txt' का उपयोग क्रॉलरों को निर्देश देने के लिए किया जाता है कि निजी क्या है, इसके बजाय कौन सी जानकारी लायक नहीं है और इसका उपयोग नहीं किया जाना चाहिए। – cpburnz
मैं शायद meta टैग पर robots.txt का प्रयोग करेंगे। Robots.txt अब तक रहा है, और अधिक व्यापक रूप से समर्थित हो सकता है (लेकिन मैं उस पर 100% निश्चित नहीं हूं)।
दूसरे भाग के लिए, मुझे लगता है कि अधिकांश मकड़ियों को पृष्ठ के लिए सबसे अधिक प्रतिबंधक सेटिंग लेनी होगी - यदि robots.txt और मेटा टैग के बीच असमानता है।
दोनों क्रॉलर्स द्वारा समर्थित हैं जो वेबमास्टर्स की इच्छा रखते हैं। सब कुछ नहीं, लेकिन उनके खिलाफ न तो तकनीक पर्याप्त है।
आप सामान्य चीज़ों के लिए robots.txt नियमों का उपयोग कर सकते हैं, जैसे आपकी साइट के पूरे अनुभागों को अस्वीकार करना। यदि आप Disallow: /family कहते हैं तो /family से शुरू होने वाले सभी लिंक क्रॉलर द्वारा अनुक्रमित नहीं किए जाते हैं।
मेटा टैग का उपयोग एक पृष्ठ को अस्वीकार करने के लिए किया जा सकता है। मेटा टैग द्वारा अस्वीकृत पृष्ठ पृष्ठ पदानुक्रम में उप पृष्ठों को प्रभावित नहीं करते हैं। यदि आपके पास /work पर मेटा टैग को अस्वीकार कर दिया गया है, तो यह किसी क्रॉलर को /work/my-publications तक पहुंचने से रोकता है यदि किसी पृष्ठ पर कोई लिंक है।
एक महत्वपूर्ण अंतर है। Google https://support.google.com/webmasters/answer/6062608?hl=en के अनुसार वे अभी भी robots.txt डेनी के पीछे एक पृष्ठ को इंडेक्स करेंगे, यदि पृष्ठ किसी अन्य साइट से लिंक है।
हालांकि, वे अगर वे एक मेटाटैग नहीं देखेंगे:
Google क्रॉल जबकि नहीं करेगा या सूचकांक सामग्री robots.txt द्वारा ब्लॉक, हम अभी भी मिल सकती है और सूचकांक पर अन्य स्थानों से किसी अस्वीकृत यूआरएल मकड़जाल। नतीजतन, यूआरएल पता और, संभावित रूप से, अन्य सार्वजनिक रूप से उपलब्ध जानकारी जैसे साइट के लिंक में एंकर टेक्स्ट अभी भी Google खोज परिणामों में दिखाई दे सकता है। आप अपने यूआरएल को अन्य यूआरएल अवरुद्ध तरीकों का उपयोग करके पूरी तरह से Google खोज परिणामों में दिखने से रोक सकते हैं, जैसे कि आपके सर्वर पर फ़ाइलों की सुरक्षा-पासवर्ड या नोंडेक्स मेटा टैग या प्रतिक्रिया शीर्षलेख का उपयोग कर।
और इन [1] (http://evolvedigitallabs.com/blog/robots-txt-vs-noindex-differences) के अनुसार, [2] (http://etechdiary.com/robots-txt-vs-noindex- deindex-your-site-the-right-way), [3] (http://moz.com/learn/seo/robotstxt) पृष्ठ, यह सिर्फ Google नहीं है। आम तौर पर, मेटा टैग का उपयोग इंडेक्सिंग को अस्वीकार करने के लिए किया जाता है, जबकि robots.txt का उपयोग क्रॉलिंग को अस्वीकार करने के लिए किया जाता है। – zrisher
+1, और मैंने आपकी पोस्ट को लिंक किए गए पृष्ठ से उद्धरण के साथ अपडेट करने की स्वतंत्रता ली, इसकी सामग्री बदलनी चाहिए! – Benjamin
आपके पास कोई भी हो सकता है लेकिन यदि आपकी वेबसाइट में बहुत सारे वेब पेज हैं तो रोबोट।txt आसान है और समय जटिलता को कम करता है
Robots.txt उन पृष्ठों के लिए अच्छा है जो आपके बहुत सारे क्रॉलिंग बजट जैसे आंतरिक खोज या असीमित संयोजन के साथ फ़िल्टर का उपभोग करते हैं। यदि आप Google को yoursite.com/search=lalalala इंडेक्स करने की अनुमति देते हैं तो यह आपको बजट को क्रॉल कर देगा।
आप अभी भी मेटा टैग का उपयोग कर अस्वीकार कर सकते हैं, है ना? लेकिन सवाल यह था कि इस दृष्टिकोण और robots.txt के बीच क्या अंतर है। – FazoM
मुझे नहीं लगता कि यह वही है। यदि आपके नियम robots.txt में हैं तो क्रॉलर को समय-समय पर रोबोट.txt लोड करना होगा ताकि उसे क्रॉल करने की अनुमति देने के लिए अद्यतित दृश्य हो सके। यदि आपके नियम मेटा टैग में हैं तो नियमों के अद्यतित दृश्य के लिए समय-समय पर प्रत्येक टैग किए गए पृष्ठ को लोड करना होगा। – Keith
मेटा बेहतर है।
खोज इंजन इंडेक्स से अलग-अलग पृष्ठों को बाहर करने के लिए, नोंडेक्स मेटा टैग वास्तव में robots.txt से बेहतर है।
मेटा रोबोट और robots.txt के बीच बहुत बड़ा अंतर है।
robots.txt में, हम क्रॉलर से पूछते हैं कि आपको कौन सा पृष्ठ क्रॉल करना है और आपको किसको बाहर करना है, लेकिन हम क्रॉलर से उन बहिष्कृत पृष्ठों को क्रॉलिंग से अनुक्रमित नहीं करने के लिए कहते हैं।
लेकिन अगर हम मेटा रोबोटों टैग का उपयोग, हम सूचकांक के लिए नहीं इस page.The टैग इस के लिए प्रयोग की जाने वाली खोज इंजन क्रॉलर्स पूछ सकते हैं है:
< #meta नाम = "रोबोट का नाम", सामग्री = " अनुक्रमणिका नहीं "> (हटाने #)
या
< #meta नाम =" रोबोट का नाम ", सामग्री =" का पालन करें, अनुक्रमणिका नहीं "> (हटाने #) दूसरे मेटा टैग में
, मेरे पास है उस यूआरएल का पालन करने के लिए रोबोट से पूछा लेकिन खोज में सूचकांक नहीं इंजन।
robots.txt के बजाय robots meta tag में आप 'नोंडेक्स, फॉलो' का उपयोग करना चाहते हैं, क्योंकि यह लिंक रस को पार करने की अनुमति देगा। यह एक एसईओ परिप्रेक्ष्य से बेहतर है।
यह वेब विकास के संदर्भ में एक प्रोग्रामिंग संबंधित प्रश्न है। – Tom