क्या कोई जावा स्क्रिप्ट वेब क्रॉलर फ्रेमवर्क

Question

कोई जावास्क्रिप्ट वेब क्रॉलर ढांचा है?

Answer 1

PhantomJS आज़माएं। वास्तव में एक क्रॉलर नहीं है, लेकिन उस उद्देश्य के लिए आसानी से उपयोग किया जा सकता है। इसमें स्क्रीनशॉट आदि को सहेजने की क्षमता के साथ अंतर्निहित पूर्ण-कार्यात्मक वेबकिट इंजन है। सरल कमांड लाइन जेएस दुभाषिया के रूप में कार्य करता है।

Answer 2

सर्वर-साइड?

कोशिश नोड क्रॉलर: https://github.com/joshfire/node-crawler

Answer 3

एक नई रूपरेखा है कि सिर्फ Node.js के लिए जारी किया गया था spider कहा जाता है नहीं है। यह वेबसाइट के HTML पृष्ठों को क्रॉल/इंडेक्स करने के लिए हुड के नीचे jQuery का उपयोग करता है। एपीआई और कॉन्फ़िगरेशन वास्तव में अच्छा है खासकर अगर आप पहले से ही jQuery जानते हैं।

var spider = require('../main'); 

spider() 
    .route('www.nytimes.com', '/pages/dining/index.html', function (window, $) { 
    $('a').spider(); 
    }) 
    .route('travel.nytimes.com', '*', function (window, $) { 
    $('a').spider(); 
    if (this.fromCache) return; 

    var article = { title: $('nyt_headline').text(), articleBody: '', photos: [] } 
    article.body = '' 
    $('div.articleBody').each(function() { 
     article.body += this.outerHTML; 
    }) 
    $('div#abColumn img').each(function() { 
     var p = $(this).attr('src'); 
     if (p.indexOf('ADS') === -1) { 
     article.photos.push(p); 
     } 
    }) 
    console.log(article); 
    }) 
    .route('dinersjournal.blogs.nytimes.com', '*', function (window, $) { 
    var article = {title: $('h1.entry-title').text()} 
    console.log($('div.entry-content').html()) 
    }) 
    .get('http://www.nytimes.com/pages/dining/index.html') 
    .log('info') 
    ;