robots.txt पार्सर जावा

Question

मैं जानना चाहता हूं कि जावा में robots.txt को कैसे पार्स करना है।

क्या पहले से ही कोई कोड है?

Answer 1

Heritrix जावा में लिखा गया एक ओपन-सोर्स वेब क्रॉलर है। अपने जावाडोक के माध्यम से देखकर, मुझे लगता है कि robots.txt फ़ाइल को पार्स करने के लिए उनके पास उपयोगिता वर्ग Robotstxt है।

Answer 2

सोर्सफोर्ज में भी jrobotx library होस्ट किया गया है।

(पूर्ण प्रकटीकरण: मैं बंद कोड है कि पुस्तकालय का निर्माण करती है काता।)

Answer 3

भी क्रॉलर कॉमन्स की नई रिलीज़ नहीं है:

https://github.com/crawler-commons/crawler-commons

पुस्तकालय कार्यक्षमता आम लागू करने के लिए करना है किसी भी वेब क्रॉलर में और इसमें एक बहुत ही आसान robots.txt पार्सर