सी # में सरल वेब क्रॉलर

Question

मैं एक सरल वेब क्रॉलर बनाया है, लेकिन मैं प्रत्यावर्तन समारोह जोड़ना चाहते हैं ताकि हर पेज खोला जाता है कि मैं इस पेज में यूआरएल प्राप्त कर सकते हैं, लेकिन मैं पता नहीं कैसे मैं ऐसा कर सकते हैं है और मैं भी चाहता हूँ बनाने के लिए धागे शामिल करने के लिए यह तेजी से यहाँ यह मेरे कोड है

namespace Crawler 
{ 
    public partial class Form1 : Form 
    { 
     String Rstring; 

     public Form1() 
     { 
      InitializeComponent(); 
     } 

     private void button1_Click(object sender, EventArgs e) 
     { 

      WebRequest myWebRequest; 
      WebResponse myWebResponse; 
      String URL = textBox1.Text; 

      myWebRequest = WebRequest.Create(URL); 
      myWebResponse = myWebRequest.GetResponse();//Returns a response from an Internet resource 

      Stream streamResponse = myWebResponse.GetResponseStream();//return the data stream from the internet 
                     //and save it in the stream 

      StreamReader sreader = new StreamReader(streamResponse);//reads the data stream 
      Rstring = sreader.ReadToEnd();//reads it to the end 
      String Links = GetContent(Rstring);//gets the links only 

      textBox2.Text = Rstring; 
      textBox3.Text = Links; 
      streamResponse.Close(); 
      sreader.Close(); 
      myWebResponse.Close(); 




     } 

     private String GetContent(String Rstring) 
     { 
      String sString=""; 
      HTMLDocument d = new HTMLDocument(); 
      IHTMLDocument2 doc = (IHTMLDocument2)d; 
      doc.write(Rstring); 

      IHTMLElementCollection L = doc.links; 

      foreach (IHTMLElement links in L) 
      { 
       sString += links.getAttribute("href", 0); 
       sString += "/n"; 
      } 
      return sString; 
     } 

Answer 1

मैं अपने GetContent विधि निर्धारित क्रॉल पृष्ठ से नए लिंक प्राप्त करने का पालन करें:

public ISet<string> GetNewLinks(string content) 
{ 
    Regex regexLink = new Regex("(?<=<a\\s*?href=(?:'|\"))[^'\"]*?(?=(?:'|\"))"); 

    ISet<string> newLinks = new HashSet<string>();  
    foreach (var match in regexLink.Matches(content)) 
    { 
     if (!newLinks.Contains(match.ToString())) 
      newLinks.Add(match.ToString()); 
    } 

    return newLinks; 
} 

अपडेट किया गया

फिक्स्ड: रेगुलर एक्सप्रेशन regexLink होना चाहिए। धन्यवाद @shashlearner इसे इंगित करने के लिए (मेरा गलत टाइप)।

Answer 2

निम्नलिखित एक जवाब/सिफारिश भी शामिल है।

मेरा मानना ​​है कि आपको के बजाय dataGridView का उपयोग करना चाहिए, जब आप इसे GUI में देखते हैं तो यह लिंक (यूआरएल) को देखना आसान होता है।

आप को बदल सकता है:

textBox3.Text = Links; 

को

dataGridView.DataSource = Links; 

प्रश्न के लिए

अब, आप शामिल नहीं किया है:

using System. "'s" 

हैं, इस्तेमाल किया गया के रूप में यह हो सकता है जो सराहना की अगर मैं उन्हें प्राप्त कर सकता हूं क्योंकि इसे समझ नहीं सकता है।

Answer 3

एक डिजाइन दृष्टिकोण से, मैं कुछ webcrawlers लिखा है। मूल रूप से आप एक स्टैक डेटा संरचना का उपयोग कर गहराई पहली खोज को कार्यान्वित करना चाहते हैं। आप ब्रेडथ फर्स्ट सर्च का भी उपयोग कर सकते हैं, लेकिन आप संभवतः स्टैक मेमोरी के मुद्दों में आ जाएंगे। सौभाग्य।

Answer 4

मैं Reactive Extension का उपयोग कर कुछ इसी तरह बनाया है।

https://github.com/Misterhex/WebCrawler

मैं इसे आप मदद कर सकते हैं उम्मीद है।

Crawler crawler = new Crawler(); 

IObservable observable = crawler.Crawl(new Uri("http://www.codinghorror.com/")); 

observable.Subscribe(onNext: Console.WriteLine, 
onCompleted:() => Console.WriteLine("Crawling completed"));