2009-12-31 6 views
7

मैं डॉटनेट (सी #, फ्रेमवर्क 3.5 एसपी 1) में बड़ी एक्सएमएल फाइलों (मैं इन फ़ाइलों का प्रदाता नहीं) की लोडिंग प्रगति का पालन करने का प्रयास करता हूं: 1 एमबी से 300 एमबी तक नेटवर्क फ़ाइल शेयर।विशाल एक्सएमएल फाइलों की लोडिंग प्रगति का पालन करें

मैं लोडिंग प्रक्रिया को तेज़ करने के लिए प्रत्यक्ष XmlDocument.Load विधि के बजाय उद्देश्य लोड करने के लिए XmlReader का उपयोग करता हूं।

जिस तरह से मुझे इस लोडिंग प्रगति का पालन करने के तरीके पर इंटरनेट/दस्तावेज़ पर कहीं भी नहीं मिला: कोई प्रतिनिधि/घटनाएं मौजूद नहीं हैं। क्या इस कार्य को करने का कोई तरीका है? एक्सएमएल बचत उद्देश्य के लिए कार्यक्षमता की तरह होने के लिए एक अच्छा हो सकता है।

धन्यवाद

+0

आप इन फ़ाइलों को किसी डोम/डेटाबेस या किसी अन्य चीज़ में कहां लोड कर रहे हैं? क्या आप नोड द्वारा उन्हें नोड पढ़ रहे हैं और उन्हें प्रोसेस कर रहे हैं या उन्हें स्मृति में डाल रहे हैं? – A9S6

+0

मुझे लगता है कि मैं कुछ जानकारी डालना भूल जाता हूं: मैं इन एक्सएमएल फाइलों को एक एपीआई के लिए लोड करता हूं (मेरे पास स्रोत है, लेकिन मैं तर्क/पार्सिंग को संपादित नहीं करना पसंद करता हूं) जो फ़ाइल को पार्स (मुख्य रूप से एक्सपैथ के साथ) को पार्स करता है। यह एपीआई XML पैरामीटर में एक XML फ़ाइल (और XmlReader का उपयोग करें) या स्ट्रीम के लिए एक पथ में स्वीकार करता है। मुझे वास्तव में पार्सिंग प्रक्रिया की परवाह नहीं है जो जल्दी है, केवल स्मृति प्रक्रिया में लोडिंग पर ध्यान केंद्रित करता है। – camous

+0

एक्सएमएल रीडर XPath का समर्थन नहीं करता है, और केवल सीरियल एक्सेस प्रदान करता है ... यदि आपको अधिक परिष्कृत प्रसंस्करण करने की आवश्यकता है, तो आप XPathNaviator का उपयोग करना चाहेंगे, या यदि स्मृति उपयोग महत्वपूर्ण है, तो vtd-xml –

उत्तर

13

मान लिया जाये कि तुम यहाँ एक धारा से पढ़ रहे हैं एक (गैर सही) कैसे करना है के उदाहरण है ... मूल रूप से प्रोग्रेसस्ट्रीमवापर फ़ाइल स्ट्रीम को लपेटता है और जब भी स्थिति बदल जाती है तो एक ईवेंट उठाता है।

class Program 
{ 
    static void Main(string[] args) 
    { 
     Console.WriteLine("Reading big file..."); 

     FileStream fileStream = File.OpenRead("c:\\temp\\bigfile.xml"); 
     ProgressStreamWrapper progressStreamWrapper = new ProgressStreamWrapper(fileStream); 
     progressStreamWrapper.PositionChanged += (o, ea) => Console.WriteLine((double) progressStreamWrapper.Position/progressStreamWrapper.Length * 100 + "% complete"); 
     XmlReader xmlReader = XmlReader.Create(progressStreamWrapper); 

     while (xmlReader.Read()) 
     { 
      //read the xml document 
     } 

     Console.WriteLine("DONE"); 
     Console.ReadLine(); 
    } 
} 


public class ProgressStreamWrapper : Stream, IDisposable 
{ 
    public ProgressStreamWrapper(Stream innerStream) 
    { 
     InnerStream = innerStream; 
    } 

    public Stream InnerStream { get; private set; } 

    public override void Close() 
    { 
     InnerStream.Close(); 
    } 

    void IDisposable.Dispose() 
    { 
     base.Dispose(); 
     InnerStream.Dispose(); 
    } 

    public override void Flush() 
    { 
     InnerStream.Flush(); 
    } 

    public override IAsyncResult BeginRead(byte[] buffer, int offset, int count, AsyncCallback callback, object state) 
    { 
     return InnerStream.BeginRead(buffer, offset, count, callback, state); 
    } 

    public override int EndRead(IAsyncResult asyncResult) 
    { 
     int endRead = InnerStream.EndRead(asyncResult); 
     OnPositionChanged(); 
     return endRead; 
    } 

    public override IAsyncResult BeginWrite(byte[] buffer, int offset, int count, AsyncCallback callback, object state) 
    { 
     return InnerStream.BeginWrite(buffer, offset, count, callback, state); 
    } 

    public override void EndWrite(IAsyncResult asyncResult) 
    { 
     InnerStream.EndWrite(asyncResult); 
     OnPositionChanged(); ; 
    } 

    public override long Seek(long offset, SeekOrigin origin) 
    { 
     long seek = InnerStream.Seek(offset, origin); 
     OnPositionChanged(); 
     return seek; 
    } 

    public override void SetLength(long value) 
    { 
     InnerStream.SetLength(value); 
    } 

    public override int Read(byte[] buffer, int offset, int count) 
    { 
     int read = InnerStream.Read(buffer, offset, count); 
     OnPositionChanged(); 
     return read; 
    } 

    public override int ReadByte() 
    { 
     int readByte = InnerStream.ReadByte(); 
     OnPositionChanged(); 
     return readByte; 
    } 

    public override void Write(byte[] buffer, int offset, int count) 
    { 
     InnerStream.Write(buffer, offset, count); 
     OnPositionChanged(); 
    } 

    public override void WriteByte(byte value) 
    { 
     InnerStream.WriteByte(value); 
     OnPositionChanged(); 
    } 

    public override bool CanRead 
    { 
     get { return InnerStream.CanRead; } 
    } 

    public override bool CanSeek 
    { 
     get { return InnerStream.CanSeek; } 
    } 

    public override bool CanTimeout 
    { 
     get { return InnerStream.CanTimeout; } 
    } 

    public override bool CanWrite 
    { 
     get { return InnerStream.CanWrite; } 
    } 

    public override long Length 
    { 
     get { return InnerStream.Length; } 
    } 

    public override long Position 
    { 
     get { return InnerStream.Position; } 
     set 
     { 
      InnerStream.Position = value; 
      OnPositionChanged(); 
     } 
    } 

    public event EventHandler PositionChanged; 

    protected virtual void OnPositionChanged() 
    { 
     if (PositionChanged != null) 
     { 
      PositionChanged(this, EventArgs.Empty); 
     } 
    } 

    public override int ReadTimeout 
    { 
     get { return InnerStream.ReadTimeout; } 
     set { InnerStream.ReadTimeout = value; } 
    } 

    public override int WriteTimeout 
    { 
     get { return InnerStream.WriteTimeout; } 
     set { InnerStream.WriteTimeout = value; } 
    } 
} 
+0

हां, मैं एपीआई परम स्ट्रीम के रूप में प्रदान कर सकता हूं इसलिए मैं इस तरह के समाधान (स्थिति बदलें घटना) को देखूंगा। आज अपडेट होगा। – camous

+0

मुझे लगता है कि हमारे पास एक ही विचार था, लेकिन आपका कोड पहले यहां था, इसलिए एक निश्चित +1; -पी –

-1

DataSet.Read() का उपयोग करने के बारे में कैसे?

या,

// Create the document. 
     XmlDocument doc = new XmlDocument(); 
     doc.Load(file); 

     // Loop through all the nodes, and create the list of Product objects . 
     List<Product> products = new List<Product>(); 

     foreach (XmlElement element in doc.DocumentElement.ChildNodes) 
     { 
      Product newProduct = new Product(); 
      newProduct.ID = Int32.Parse(element.GetAttribute("ID")); 
      newProduct.Name = element.GetAttribute("Name"); 

      // If there were more than one child node, you would probably use 
      // another For Each loop here and move through the 
      // Element.ChildNodes collection. 
      newProduct.Price = Decimal.Parse(element.ChildNodes[0].InnerText); 

      products.Add(newProduct); 
     } 
+0

में availabe मूल रूप से, मैं लोडिंग तंत्र पर ध्यान केंद्रित करने की कोशिश करता हूं, न कि पार्सिंग एक: पार्सिंग प्रक्रिया बाहरी एपीआई द्वारा की जाती है। आपके उदाहरण में, 'doc.Load (फ़ाइल);' इस चरण में समग्र एक्सएमएल फ़ाइल लोड करेगा और फ़ाइल को स्मृति में लोड होने पर ही आगे जायेगा। – camous

2
इनबिल्ट लोडर वहाँ ज्यादा नहीं है के साथ

; हालांकि, आप एक अवरोधक धारा लिख ​​सकते हैं - इस स्ट्रीम से अपना दस्तावेज़ लोड करें, और घटनाओं के माध्यम से Position का पर्दाफाश करें? यानी Read विधि (अंतराल पर) में कोई ईवेंट बढ़ाएं?


यहाँ एक उदाहरण है कि के दौरान अपडेट का समर्थन करता है है दोनों पढ़ने और लिखने:

using System; 
using System.IO; 
using System.Xml; 
class ChattyStream : Stream 
{ 
    private Stream baseStream; 
    public ChattyStream(Stream baseStream) 
    { 
     if (baseStream == null) throw new ArgumentNullException("baseStream"); 
     this.baseStream = baseStream; 
     updateInterval = 1000; 
    } 
    public event EventHandler ProgressChanged; 
    protected virtual void OnProgressChanged() 
    { 
     var handler = ProgressChanged; 
     if (handler != null) handler(this, EventArgs.Empty); 
    } 
    private void CheckDisposed() 
    { 
     if (baseStream == null) throw new ObjectDisposedException(GetType().Name); 
    } 
    protected Stream BaseStream 
    { 
     get { CheckDisposed(); return baseStream; } 
    } 
    int pos, updateInterval; 
    public int UpdateInterval 
    { 
     get { return updateInterval; } 
     set 
     { 
      if (value <= 0) throw new ArgumentOutOfRangeException("value"); 
      updateInterval = value; 
     } 
    } 

    protected void Increment(int value) 
    { 
     if (value > 0) 
     { 
      pos += value; 
      if (pos >= updateInterval) 
      { 
       OnProgressChanged(); 
       pos = pos % updateInterval; 
      } 
     } 
    } 
    public override int Read(byte[] buffer, int offset, int count) 
    { 
     int result = BaseStream.Read(buffer, offset, count); 
     Increment(result); 
     return result; 
    } 
    public override void Write(byte[] buffer, int offset, int count) 
    { 
     BaseStream.Write(buffer, offset, count); 
     Increment(count); 
    } 
    public override void SetLength(long value) 
    { 
     BaseStream.SetLength(value); 
    } 
    public override void Flush() 
    { 
     BaseStream.Flush(); 
    } 
    public override long Position 
    { 
     get { return BaseStream.Position; } 
     set { BaseStream.Position = value; } 
    } 
    public override long Seek(long offset, SeekOrigin origin) 
    { 
     return BaseStream.Seek(offset, origin); 
    } 
    public override long Length 
    { 
     get { return BaseStream.Length; } 
    } 
    public override bool CanWrite 
    { 
     get { return BaseStream.CanWrite; } 
    } 
    public override bool CanRead 
    { 
     get { return BaseStream.CanRead; } 
    } 
    public override bool CanSeek 
    { 
     get { return BaseStream.CanSeek; } 
    } 
    protected override void Dispose(bool disposing) 
    { 
     if (disposing && baseStream != null) 
     { 
      baseStream.Dispose(); 
     } 
     baseStream = null; 
     base.Dispose(disposing); 
    } 
    public override void Close() 
    { 
     if (baseStream != null) baseStream.Close(); 
     base.Close(); 
    } 
    public override int ReadByte() 
    { 
     int val = BaseStream.ReadByte(); 
     if (val >= 0) Increment(1); 
     return val; 
    } 
    public override void WriteByte(byte value) 
    { 
     BaseStream.WriteByte(value); 
     Increment(1); 
    } 

} 
static class Program 
{ 
    static void Main() 
    { 
     /* invent some big data */ 
     const string path = "bigfile"; 
     if (File.Exists(path)) File.Delete(path); 
     using (var chatty = new ChattyStream(File.Create(path))) 
     { 
      chatty.ProgressChanged += delegate 
      { 
       Console.WriteLine("Writing: " + chatty.Position); 
      }; 
      using (var writer = XmlWriter.Create(chatty)) 
      { 
       writer.WriteStartDocument(); 
       writer.WriteStartElement("xml"); 
       for (int i = 0; i < 50000; i++) 
       { 
        writer.WriteElementString("add", i.ToString()); 
       } 
       writer.WriteEndElement(); 
       writer.WriteEndDocument(); 
      } 
      chatty.Close(); 
     } 


     /* read it */ 

     using (var chatty = new ChattyStream(File.OpenRead("bigfile"))) 
     { 
      chatty.ProgressChanged += delegate 
      { 
       Console.WriteLine("Reading: " + chatty.Position); 
      }; 

      // now read "chatty" with **any** API; XmlReader, XmlDocument, XDocument, etc 
      XmlDocument doc = new XmlDocument(); 
      doc.Load(chatty); 
     } 
    } 
} 
संबंधित मुद्दे