निर्देशिकाओं को तेजी से कैसे सूचीबद्ध करें?

Question

मेरे पास कुछ स्थितियां हैं जहां मुझे फ़ाइलों को बार-बार सूचीबद्ध करने की आवश्यकता है, लेकिन मेरे कार्यान्वयन धीमे हो गए हैं। मेरे पास 92784 फाइलों के साथ एक निर्देशिका संरचना है। find फ़ाइलों को 0.5 सेकंड से कम समय में सूचीबद्ध करता है, लेकिन मेरा हास्केल कार्यान्वयन बहुत धीमा है।

मेरा पहला कार्यान्वयन पूरा करने के लिए 9 सेकंड से थोड़ा अधिक समय ले गया, अगले संस्करण 5 सेकंड से थोड़ा अधिक और मैं वर्तमान में दो सेकंड से थोड़ा कम नीचे हूं।

listFilesR :: FilePath -> IO [FilePath] 
listFilesR path = let 
    isDODD "." = False 
    isDODD ".." = False 
    isDODD _ = True 

    in do 
     allfiles <- getDirectoryContents path 
    dirs <- forM allfiles $ \d -> 
     if isDODD d then 
     do let p = path </> d 
      isDir <- doesDirectoryExist p 
      if isDir then listFilesR p else return [d] 
     else return [] 
    return $ concat dirs 

परीक्षण स्मृति के बारे में 100 मेगाबाइट (+ आरटीएस -s) लेता है, और कार्यक्रम जीसी में 40% के आसपास खर्च करता है।

मैं अनुक्रम के साथ एक राइटरट मोनैड में लिस्टिंग करने की सोच रहा था, जो कि कॉन्सट्स और सूची निर्माण को रोकने के लिए मोनॉयड के रूप में था। क्या यह संभवतः मदद करता है? मुझे और क्या करना चाहिए?

संपादित करें: मैंने readDirStream का उपयोग करने के लिए फ़ंक्शन को संपादित किया है, और यह स्मृति को नीचे रखने में मदद करता है। अभी भी कुछ आवंटन हो रहा है, लेकिन उत्पादकता दर> 9 5% है और यह एक सेकंड से भी कम समय में चलती है।

यह वर्तमान संस्करण है:

list path = do 
    de <- openDirStream path 
    readDirStream de >>= go de 
    closeDirStream de 
    where 
    go d [] = return() 
    go d "." = readDirStream d >>= go d 
    go d ".." = readDirStream d >>= go d 
    go d x = let newpath = path </> x 
     in do 
      e <- doesDirectoryExist newpath 
      if e 
     then 
      list newpath >> readDirStream d >>= go d 
     else putStrLn newpath >> readDirStream d >>= go d 

Answer 1

मुझे लगता है कि System.Directory.getDirectoryContents एक पूरी सूची निर्माण करती है और इसलिए अधिक स्मृति का उपयोग करता है। System.Posix.Directory का उपयोग करने के बारे में कैसे? System.Posix.Directory.readDirStream एक प्रविष्टि एक-एक करके देता है।

इसके अलावा, FileManip library उपयोगी हो सकता है हालांकि मैंने कभी इसका उपयोग नहीं किया है।

Answer 2

एक समस्या यह है यह, निर्देशिका सामग्री की पूरी सूची के निर्माण के लिए कार्यक्रम उन लोगों के साथ कुछ भी कर सकते से पहले किया है। आलसी आईओ आमतौर पर डूब जाता है, लेकिन असुरक्षित इंटरलेवियो का उपयोग करके मेमोरी उपयोग में काफी कटौती होती है।

listFilesR :: FilePath -> IO [FilePath] 
listFilesR path = 
    let 
    isDODD "." = False 
    isDODD ".." = False 
    isDODD _ = True 
    in unsafeInterleaveIO $ do 
    allfiles <- getDirectoryContents path 
    dirs <- forM allfiles $ \d -> 
     if isDODD d then 
     do let p = path </> d 
      isDir <- doesDirectoryExist p 
      if isDir then listFilesR p else return [d] 
     else return [] 
    return $ concat dirs 

Answer 3

आपके कोड को प्रोफाइल करने से पता चलता है कि अधिकांश CPU समय getDirectoryContents, doesDirectoryExist और </> में चला जाता है। इसका मतलब है कि केवल डेटा संरचना को बदलने से बहुत मदद नहीं मिलेगी। यदि आप find के प्रदर्शन से मेल खाना चाहते हैं तो आपको फाइल सिस्टम तक पहुंचने के लिए निचले स्तर के फ़ंक्शंस का उपयोग करना चाहिए, संभवतः उन लोगों को जो Tsuyoshi ने इंगित किया था।

Answer 4

क्या यह पढ़ने के साथ संयुक्त कुछ प्रकार के कैश सिस्टम का उपयोग करने का विकल्प होगा? मैं एक एसिंक इंडेक्सिंग सेवा/थ्रेड के बारे में सोच रहा था जिसने पृष्ठभूमि में इस कैश को अद्यतित रखा था, शायद आप कैश को एक साधारण एसक्यूएल-डीबी के रूप में कर सकते हैं जो इसके बाद पूछताछ करते समय आपको कुछ अच्छा प्रदर्शन देगा?

क्या आप अपने "प्रोजेक्ट/विचार" पर कुछ भी विस्तारित कर सकते हैं ताकि हम कुछ विकल्प के साथ आ सकें?

मैं खुद को "पूर्ण अनुक्रमणिका" के लिए नहीं जाना चाहूंगा क्योंकि मैं ज्यादातर वेबबेस सेवाओं का निर्माण करता हूं और "resposnetime" मेरे लिए आलोचना करता है, दूसरी ओर - यदि यह एक नया सर्वर शुरू करने का प्रारंभिक तरीका है तो मुझे यकीन है ग्राहकों को पहली बार इंतजार करना दिमाग नहीं होगा। मैं परिणाम को बाद में लुकअप के लिए डीबी में संग्रहीत करूंगा।