क्या PHP वेब क्रॉलर पुस्तकालय उपलब्ध हैं?

Question

मैं कुछ मजबूत, अच्छी तरह से प्रलेखित PHP वेब क्रॉलर स्क्रिप्ट की तलाश में हूं। शायद जावा प्रोजेक्ट का एक PHP पोर्ट - http://wiki.apache.org/nutch/NutchTutorial

मैं दोनों मुफ्त और गैर-मुक्त संस्करणों की तलाश में हूं।

Answer 1

बस Snoopy एक कोशिश करें।

उद्धरण: "स्नूपी एक PHP क्लास है जो एक वेब ब्राउज़र को अनुकरण करती है। यह वेब पेज सामग्री को पुनर्प्राप्त करने और फॉर्म पोस्ट करने का कार्य स्वचालित करता है, उदाहरण के लिए।"

Answer 2

आप PHP Simple HTML DOM Parser का उपयोग कर सकते हैं। यह वास्तव में सरल और उपयोगी है।

Answer 3

मैं phpQuery की खोज से पहले लगभग 3 साल के लिए सरल HTML DOM का उपयोग कर रहा हूं। यह बहुत तेज है, फिर से काम नहीं कर रहा है (आप वास्तव में इसे डंप कर सकते हैं) और jQuery चयनकर्ताओं और विधियों के लिए पूर्ण समर्थन है।

Answer 4

किसी ने भी एक अच्छी शुरुआत बिंदु के रूप में wget का उल्लेख नहीं किया?

 
wget -r --level=10 -nd http://www.mydomain.com/ 

अधिक @http://www.erichynds.com/ubuntulinux/automatically-crawl-a-website-looking-for-errors/

Answer 5

यदि आप एक मजबूत आधार घटक के बारे में सोच रहे हैं की तुलना में http://symfony.com/doc/2.0/components/dom_crawler.html

यह आश्चर्यजनक है करने के लिए एक कोशिश, सीएसएस चयनकर्ता की तरह एक सुविधाओं होने दे।

Answer 6

https://github.com/fabpot/Goutte psr-0 मानक के साथ संगत एक अच्छी लाइब्रेरी भी है।

Answer 7

एक greate ट्यूटोरियल here जो guzzlehttp और symfony/dom-crawler

जोड़ती मामले लिंक यहाँ खो दिया है कोड आप उपयोग कर सकते हैं है में नहीं है।

use Guzzle\Http\Client; 
use Symfony\Component\DomCrawler\Crawler; 
use RuntimeException; 

// create http client instance 
$client = new GuzzleHttp\ClientClient('http://download.cloud.com/releases'); 

// create a request 
$response = $client->request('/3.0.6/api_3.0.6/TOC_Domain_Admin.html'); 

// get status code 
$status = $response->getStatusCode(); 

// this is the response body from the requested page (usually html) 
//$result = $response->getBody(); 

// crate crawler instance from body HTML code 
$crawler = new Crawler($response->getBody(true)); 

// apply css selector filter 
$filter = $crawler->filter('div.apismallbullet_box'); 
$result = array(); 

if (iterator_count($filter) > 1) { 

    // iterate over filter results 
    foreach ($filter as $i => $content) { 

     // create crawler instance for result 
     $cralwer = new Crawler($content); 
     // extract the values needed 
     $result[$i] = array(
      'topic' => $crawler->filter('h5')->text(); 
      'className' => trim(str_replace(' ', '', $result[$i]['topic'])) . 'Client' 
     ); 
    } 
} else { 
    throw new RuntimeException('Got empty result processing the dataset!'); 
}