वेब पृष्ठों को एक वेब साइट के भीतर स्क्रैप करने का सबसे तेज़ तरीका

Question

मेरे पास एक सी # ऐप है जिसे जितना संभव हो सके एक निश्चित डोमेन के भीतर कई सारे पृष्ठों को स्क्रैप करने की आवश्यकता है। मैं एक Parallel.Foreach कि यूआरएल (मल्टी-थ्रेडेड) और उन्हें खरोंच के सभी के माध्यम से लूप नीचे कोड का उपयोग कर:

private string ScrapeWebpage(string url, DateTime? updateDate) 
     { 
      HttpWebRequest request = null; 
      HttpWebResponse response = null; 
      Stream responseStream = null; 
      StreamReader reader = null; 
      string html = null; 

      try 
      { 
       //create request (which supports http compression) 
       request = (HttpWebRequest)WebRequest.Create(url); 
       request.Pipelined = true; 
       request.KeepAlive = true; 
       request.Headers.Add(HttpRequestHeader.AcceptEncoding, "gzip,deflate"); 
       if (updateDate != null) 
        request.IfModifiedSince = updateDate.Value; 

       //get response. 
       response = (HttpWebResponse)request.GetResponse(); 
       responseStream = response.GetResponseStream(); 
       if (response.ContentEncoding.ToLower().Contains("gzip")) 
        responseStream = new GZipStream(responseStream, CompressionMode.Decompress); 
       else if (response.ContentEncoding.ToLower().Contains("deflate")) 
        responseStream = new DeflateStream(responseStream, CompressionMode.Decompress); 

       //read html. 
       reader = new StreamReader(responseStream, Encoding.Default); 
       html = reader.ReadToEnd(); 
      } 
      catch 
      { 
       throw; 
      } 
      finally 
      {//dispose of objects. 
       request = null; 
       if (response != null) 
       { 
        response.Close(); 
        response = null; 
       } 
       if (responseStream != null) 
       { 
        responseStream.Close(); 
        responseStream.Dispose(); 
       } 
       if (reader != null) 
       { 
        reader.Close(); 
        reader.Dispose(); 
       } 
      } 
      return html; 
     } 

आप देख सकते हैं, मैं http संपीड़न समर्थन है और request.keepalive की स्थापना की है और request.pipelined सच करने के लिए। मैं सोच रहा हूं कि यदि मैं जिस कोड का उपयोग कर रहा हूं वह एक ही साइट के भीतर कई वेब पृष्ठों को स्क्रैप करने का सबसे तेज़ तरीका है या यदि कोई बेहतर तरीका है जो सत्र को कई अनुरोधों के लिए खुला रखेगा। मेरा कोड प्रत्येक पृष्ठ पर हिट करने के लिए एक नया अनुरोध उदाहरण बना रहा है, क्या मुझे सभी पृष्ठों को हिट करने के लिए केवल एक अनुरोध उदाहरण का उपयोग करने की कोशिश करनी चाहिए? क्या पाइपलाइन और रखरखाव सक्षम होना आदर्श है?

Answer 1

यह पता चला है कि मैं क्या याद आ रही थी था इस:

ServicePointManager.DefaultConnectionLimit = 1000000;