13
मैं क्रॉलरों को अपने डोमेन की रूट निर्देशिका (यानी index.html फ़ाइल) तक पहुंचने की अनुमति देना चाहता हूं, लेकिन कुछ भी गहरा नहीं है (यानी कोई उपनिर्देशिका नहीं)। मैं robots.txt फ़ाइल के भीतर व्यक्तिगत रूप से प्रत्येक उपनिर्देशिका को सूचीबद्ध और अस्वीकार नहीं करना चाहता हूं। वर्तमान में मेरे पास निम्नलिखित है, लेकिन मुझे लगता है कि यह सब कुछ अवरुद्ध कर रहा है, जिसमें डोमेन की जड़ में सामान शामिल है।Robots.txt, केवल डोमेन रूट तक पहुंच की अनुमति कैसे दें, और कोई गहरा नहीं?
User-agent: *
Allow: /$
Disallow:/
मैं अपने robots.txt को कैसे पूरा कर सकता हूं, इसे पूरा करने के लिए मैं कैसे लिख सकता हूं?
अग्रिम धन्यवाद!
यह "रोबोट-सार्वभौमिक" तरीके से नहीं किया जा सकता है। क्या आपके पास .htaccess या इसी तरह की पहुंच है? – alexn
मेरे पास .htaccess तक पहुंच है। असल में, मेरा लक्ष्य, robots.txt, मेटा टैग, और मेटा http शीर्षलेख का उपयोग करके, मैं अपने मुख्य पृष्ठ (यानी index.html) को किसी भी खोज इंजन परिणामों में समाप्त होने से रोकने के लिए व्यक्तिगत रूप से कर सकता हूं। – WASa2