पार्सिंग जावा

Question

में बड़े XML दस्तावेज़ों

मैं है निम्नलिखित समस्या:

मैं एक XML फ़ाइल (लगभग 1 जीबी) मिल गया है, और ऊपर पुनरावृति करने के लिए है और नीचे (यानी अनुक्रमिक नहीं; एक के बाद एक) के क्रम में आवश्यक डेटा प्राप्त करने और उस पर कुछ संचालन करने के लिए। प्रारंभ में, मैंने डोम जावा पैकेज का उपयोग किया, लेकिन जाहिर है, एक्सएमएल फाइल के माध्यम से पार्स करते समय, जेवीएम अपनी अधिकतम ढेर स्पेस तक पहुंचता है और रुक जाता है।

इस समस्या को दूर करने के लिए, मैं जिन समाधानों के साथ आया था, उन्हें एक और पार्सर ढूंढना था जो एक्सएमएल में प्रत्येक तत्व को पुन: सक्रिय करता है और फिर मैं अपनी हार्ड डिस्क पर अस्थायी SQLite डेटाबेस में इसकी सामग्री संग्रहीत करता हूं। इसलिए, इस तरह, JVM का ढेर पार नहीं हुआ है, और एक बार सभी डेटा भरने के बाद, मैं XML फ़ाइल को अनदेखा करता हूं और अस्थायी SQLite डेटाबेस पर अपने परिचालन जारी रखता हूं।

क्या कोई और तरीका है कि मैं अपनी समस्या से कैसे निपट सकता हूं?

Answer 1

SAX (Simple API for XML) आपकी यहां सहायता करेगा।

डोम पार्सर के विपरीत, SAX पार्सर XML दस्तावेज़ की एक में स्मृति प्रतिनिधित्व का निर्माण नहीं करता है और इसलिए तेजी से होता है और कम स्मृति का उपयोग करता है। इसके बजाय, एसएएक्स पार्सर ने एक्सएमएल दस्तावेज़ संरचना के क्लाइंट को कॉलबैक का आह्वान करके सूचित किया है, यानी org.xml.sax.helpers.DefaultHandler पार्सर को प्रदान किए गए उदाहरण पर विधियों का आह्वान करके। जब दस्तावेज़/तत्व के प्रारंभ/समाप्ति तरह की घटनाओं उत्पन्न कर रहे हैं

SAXParser parser = SAXParserFactory.newInstance().newSAXParser(); 
DefaultHandler handler = new MyHandler(); 
parser.parse("file.xml", handler); 

कहाँ MyHandler में आप कार्यों को निर्धारित लिया जाना:

यहाँ एक उदाहरण दिया गया है।

class MyHandler extends DefaultHandler { 

    @Override 
    public void startDocument() throws SAXException { 
    } 

    @Override 
    public void endDocument() throws SAXException { 
    } 

    @Override 
    public void startElement(String uri, String localName, String qName, 
      Attributes attributes) throws SAXException { 
    } 

    @Override 
    public void endElement(String uri, String localName, String qName) 
      throws SAXException { 
    } 

    // To take specific actions for each chunk of character data (such as 
    // adding the data to a node or buffer, or printing it to a file). 
    @Override 
    public void characters(char ch[], int start, int length) 
      throws SAXException { 
    } 

} 

Answer 2

आप मेमरी सीमा को मानने के लिए नहीं करना चाहते हैं, मैं निश्चित रूप से आप अपने वर्तमान दृष्टिकोण का उपयोग करने, और डेटाबेस में सब कुछ की दुकान सलाह देते हैं।

एक्सएमएल फ़ाइल का विश्लेषण SAX parser द्वारा किया जाना चाहिए, क्योंकि सभी ने सिफारिश की है (मुझे सहित)। इस तरह आप एक समय में एक वस्तु बना सकते हैं, और आप इसे तुरंत डेटाबेस में बना सकते हैं।

पोस्ट-प्रोसेसिंग (क्रॉस-रेफरेंस को हल करने) के लिए, आप डेटाबेस से SELECT एस का उपयोग कर सकते हैं, प्राथमिक कुंजी, इंडेक्स आदि बना सकते हैं। आप ORM (Eclipselink, Hibernate) का उपयोग कर सकते हैं, साथ ही यदि आप इससे सहज महसूस करते हैं ।

वास्तव में मैं वास्तव में SQLite की अनुशंसा नहीं करता हूं, एक MySQL सर्वर स्थापित करना और डेटा को स्टोर करना आसान है। बाद में आप एक्सएमएल डेटा का पुन: उपयोग भी कर सकते हैं (यदि आप हटा नहीं पाते हैं)।

Answer 3

यदि आप SAX से उच्च स्तर के दृष्टिकोण का उपयोग करना चाहते हैं, जो प्रोग्राम के लिए बहुत मुश्किल हो सकता है, तो आप हाल ही में सैक्सन-ईई रिलीज का उपयोग करके एक्सएसएलटी ट्रांसफॉर्मेशन स्ट्रीमिंग देख सकते हैं। हालांकि, आप सटीक प्रसंस्करण के बारे में बहुत अस्पष्ट हैं कि आप यह जानकर कर रहे हैं कि यह आपके विशेष मामले के लिए काम करेगा या नहीं।

Answer 4

अगर आप को संभालने के लिए एक संसाधन के अनुकूल दृष्टिकोण की आवश्यकता बहुत बड़ी एक्सएमएल इस प्रयास करें: http://www.xml2java.net/xml-to-java-data-binding-for-big-data/ तो यह आपको एक SAX तरह से डेटा की प्रक्रिया करने की अनुमति देता है, लेकिन उच्च स्तर की घटनाओं में हो रही (xml डेटा जावा पर मैप किया गया) का लाभ के साथ और इन वस्तुओं के साथ सीधे अपने कोड में काम करने में सक्षम होने के नाते।इसलिए यह जैक्सबी सुविधा और SAX संसाधन अनुकूलता को जोड़ती है।