आउटऑफमेमरी जब निर्देशिका में फ़ाइलों को सूचीबद्ध करता है

Question

जब मैं किसी निर्देशिका की फ़ाइलों को सूचीबद्ध करता हूं जिसमें जावा के साथ 300,000 फ़ाइलें हैं, तो स्मृति से बाहर होता है।

String[] fileNames = file.list(); 

क्या मैं चाहता हूँ एक तरीका है कि एक निर्देशिका की सभी फाइलों को संवर्द्धित कोई फर्क नहीं पड़ता है कि विशिष्ट निर्देशिका में कितने फ़ाइलें सूचीबद्ध कर सकते हैं और "स्मृति से बाहर" डिफ़ॉल्ट 64M ढेर सीमा के साथ समस्या है नहीं होगा।

मेरे पास Google थोड़ी देर है, और शुद्ध जावा में ऐसा कोई रास्ता नहीं मिल रहा है।
कृपया मेरी मदद करें !!

नोट, जेएनआई एक संभावित समाधान है, लेकिन मुझे जेएनआई से नफरत है।

Answer 1

मुझे पता है कि आपने "डिफ़ॉल्ट 64 एम ढेर सीमा के साथ" कहा है, लेकिन आइए तथ्यों को देखें - आप जावा द्वारा उपलब्ध कराई गई तंत्र का उपयोग करके स्मृति में बड़ी संख्या में आइटम (संभावित रूप से) रखना चाहते हैं। इसलिए, जब तक कि कोई गंभीर कारण नहीं है कि आप नहीं कर सकते, तो मैं कहूंगा कि ढेर बढ़ाना रास्ता है। टिप्पणी करने के लिए http://www.coderanch.com/t/381939/Java-General/java/iterate-over-files-directory

संपादित, जवाब में:

यहाँ एक JavaRanch पर एक ही चर्चा के लिए लिंक है, क्योंकि यह केवल है कारण मैं ने कहा कि वह स्मृति में मदों की एक बड़ी संख्या में धारण करने के लिए चाहता है तंत्र जावा मूल इंटरफ़ेस या प्लेटफ़ॉर्म-विशिष्ट तंत्र का उपयोग किए बिना निर्देशिका सूचीबद्ध करने के लिए प्रदान करता है (और ओपी ने कहा कि वह "शुद्ध जावा" चाहता था)।

Answer 2

एक डीआईआर में 300 000 फाइलें रखना एक अच्छा विचार नहीं है - AFAIK फाइल सिस्टम एक नोड में कई उप-नोड्स रखने में अच्छा नहीं है। दिलचस्प सवाल, यद्यपि।

संपादित करें: अनुसरण करने में सहायता नहीं है, टिप्पणियां देखें।

मुझे लगता है कि आप एक फाइलफिल्टर का उपयोग कर सकते हैं, सभी फाइलों को अस्वीकार कर सकते हैं, और उन्हें फ़िल्टर में संसाधित कर सकते हैं।

 new File("c:/").listFiles(new FileFilter() { 
      @Override public boolean accept(File pathname) { 
       processFile(); 
       return false; 
      } 
     }); 

Answer 3

आप यहां भाग्य से बाहर हैं। कम से कम 300k तारों को बनाने की आवश्यकता होगी। औसत लंबाई 8-10 चार और प्रति बाइट 2 बाइट जो न्यूनतम में 6 एमबी है। ऑब्जेक्ट पॉइंटर ओवरहेड प्रति स्ट्रिंग (8 बाइट्स) जोड़ें और आप अपनी मेमोरी सीमा में भाग लें।

यदि आपके पास पूरी तरह से एक ही डीआईआर में कई फाइलें होनी चाहिए, जो मैं आपकी फाइल सिस्टम में समस्याएं नहीं रखूंगा, तो आपकी सबसे अच्छी शर्त Runtime.exec के माध्यम से मूल प्रक्रिया (जेएनआई नहीं) चलाने के लिए है। ध्यान रखें कि आप स्वयं को ओएस (एलएस बनाम डीआईआर) से जोड़ देंगे। आप फ़ाइलों की एक सूची को एक बड़ी स्ट्रिंग के रूप में प्राप्त करने में सक्षम होंगे और जो भी आप चाहते हैं उसे पोस्ट करने के लिए जिम्मेदार होंगे।

उम्मीद है कि इससे मदद मिलती है।

Answer 4

आपके लिए एकमात्र संभावित समाधान जावा 7 है और फिर आप एक इटरेटर का उपयोग कर सकते हैं।

final Path p = FileSystems.getDefault().getPath("Yourpath"); 
Files.walk(p).forEach(filePath -> { 
     if (Files.isRegularFile(filePath)) { 
      //Do something with filePath 
     } 
}); 

Answer 5

यदि आप जावा 7 या ऊपर में अपना कोड लिख सकते हैं, तो निम्नलिखित एक अच्छा विकल्प है।

Files.newDirectoryStream (पथ dir)

Here एपीआई के लिए जावा दस्तावेज़ है।

उम्मीद है कि इससे मदद मिलती है।