website-admin

7गर्मी

1उत्तर

वेब क्रॉलर के लिए विशिष्ट विनम्रता कारक?

वेब क्रॉलर के लिए एक सामान्य विनम्रता कारक क्या है? अलावा हमेशा robot.txt का पालन करने से दोनों "अनुमति न दें:" और गैर मानक "Crawl-delay:" लेकिन अगर एक साइट एक स्पष्ट क्रॉल-देरी निर्दिष्ट नहीं है क्या