Robots.txt वाक्यविन्यास

Question

मैंने Google को अपनी robots.txt फ़ाइल को पहले सबमिट नहीं किया था और यह अभी भी मुझे पहली पंक्ति के लिए समझा नहीं गया वाक्यविन्यास दे रहा है।

सबसे आम समस्या गुगल करने के बाद Google एक '?' जोड़ रहा है लाइन की शुरुआत में लेकिन यह मेरे लिए ऐसा नहीं कर रहा है।

robots.txt में यूआरएल

है www.leisurepursuits.co.uk/robots.txt

त्रुटि है:

पंक्ति 1: उपयोगकर्ता एजेंट: * सिंटैक्स नहीं समझा

Answer 1

यह त्रुटि दिखाती है क्योंकि अपेक्षित robots.txt फ़ाइल प्रारूप यूटीएफ -8 में एन्कोडेड सादा पाठ है। फ़ाइल में सीआर, सीआर/एलएफ या एलएफ द्वारा अलग किए गए रिकॉर्ड (लाइनें) होते हैं।

यदि कोई वर्ण एन्कोडिंग यूटीएफ -8 का उप-समूह नहीं है, तो आपकी robots.txt फ़ाइलों को गलत तरीके से पार्स किया जा रहा है।

पहले विकल्प "दृश्य स्रोत" का चयन करके http://www.asymptoticdesign.co.uk/cgi-bin/check-url.pl में अपने robots.txt url को जांचें और देखें कि यह सफलतापूर्वक प्रतिसाद देता है या नहीं।

अब अपनी robots.txt फ़ाइल को दोबारा अपलोड करें। जैसा कि पहले दिखाया गया है, यह त्रुटि नहीं दिखाएगा।