यह क्रॉस लिंक में इतना धीमा क्यों है?

Question

मैंने लिंक के इस टुकड़े को एक क्रॉस करने के लिए लिखा है, एक डेटाबेस की तरह जुड़ें कई सूचियों के बीच होगा।

लेकिन कुछ कारणों से यह बहुत धीमी है जब कोई भी सूची 3000 से अधिक हो जाती है। मैं 30 के लिए इंतजार करूँगा? ये सूचियां बहुत बड़ी संख्या में जा सकती हैं।

इस क्वेरी से आ रही ColumnDataIndex अन्य सूची के डेटा के साथ प्रत्येक रिश्ते के लिए लूप में चलाया जाता है।

कोई सलाह?

अद्यतन ** - डेटा सामान्य सूचियों में डाला गया है जो कॉन्फ़िगर किए गए स्रोतों से पहले बनाए गए हैं। इस समय यह सब स्मृति में है।

RunningResult[parameter.Uid] = (from source_row in RunningResult[parameter.Uid] 
          from target_row in ColumnDataIndex[dest_key] 
          where GetColumnFromUID(source_row, rel.SourceColumn) == GetColumnFromUID(target_row, rel.TargetColumn) 
          select new Row() 
          { 
           Columns = MergeColumns(source_row.Columns, target_row.Columns) 

          }).ToList(); 

2 अतिरिक्त कार्य:

MergeColumns: 2 आइटम से कॉलम ले जाता है और उन्हें एक ही सरणी में विलीन हो जाती है।

public static Columnn[] MergeColumns(Column[] source_columns, Column[] target_columns) 
{ 
     Provider.Data.BucketColumn[] new_column = new Provider.Data.BucketColumn[source_columns.Length + target_columns.Length]; 
     source_columns.CopyTo(new_column, 0); 
     target_columns.CopyTo(new_column, source_columns.Length); 
     return new_column; 
    } 

GetColumnFromUID: रिटर्न दिए गए स्तंभ uid मिलान मद में स्तंभ का मान।

private static String GetColumnFromUID(Row row, String column_uid) 
    { 
     if (row != null) 
     { 
      var dest_col = row.Columns.FirstOrDefault(col => col.ColumnUid == column_uid); 
      return dest_col == null ? "" + row.RowId : dest_col.Value.ToString().ToLower(); 
     } 
     else return String.Empty; 

    } 

अद्यतन:

डेटा और एक डेटाबेस के लिए क्वेरी चलती समाप्त हो गया। यह गति को कई एमएस तक कम कर दिया गया। एक अनुकूलित looped समारोह लिखा हो सकता है, लेकिन यह मेरे लिए सबसे तेज़ तरीका था।

Answer 1

आपको वास्तव में क्रॉस जॉइन करने की आवश्यकता नहीं है। क्रॉस जॉइन स्वाभाविक रूप से महंगा संचालन हैं। आपको तब तक ऐसा नहीं करना चाहिए जब तक कि आपको वास्तव में इसकी आवश्यकता न हो। आपके मामले में आपको वास्तव में जो चाहिए वह सिर्फ एक आंतरिक जुड़ाव है। आप एक क्रॉस जॉइन कर रहे हैं जिसके परिणामस्वरूप बहुत सारे मूल्य हैं जिनकी आपको आवश्यकता नहीं है, और फिर आप उन मूल्यों का एक विशाल प्रतिशत फ़िल्टर कर रहे हैं जो आपको चाहिए जो आपको चाहिए। यदि आपने शुरुआत से ही आंतरिक शामिल किया है तो आप केवल उन मूल्यों की गणना करेंगे जिन्हें आपको चाहिए। इससे आपको उन सारी पंक्तियों को बनाने की आवश्यकता से बचाया जाएगा जिनकी आपको आवश्यकता नहीं है, उन्हें सिर्फ फेंक दिया जाना चाहिए।

RunningResult[parameter.Uid] = (from source_row in RunningResult[parameter.Uid] 
           join target_row in ColumnDataIndex[dest_key] 
           on GetColumnFromUID(source_row, rel.SourceColumn) equals 
            GetColumnFromUID(target_row, rel.TargetColumn) 
           select new Row() 
           { 
            Columns = MergeColumns(source_row.Columns, target_row.Columns) 

           }).ToList(); 

Answer 2

आप एक क्रॉस जॉइन नहीं कर रहे हैं, लेकिन एक आंतरिक धारा, केवल आपके मामले में, जहां अनुमान लगाया गया है, पर एक खंड शामिल है।

एक भीतरी शामिल होने के लिए आम तौर पर, दो हैश सेट/तालिकाओं के साथ किया जाता है, ताकि आप जल्दी से पंक्ति वाई में मूल्य के आधार पर सेट एक्स में पंक्ति पा सकते हैं

तो 'वेस्टन के जवाब ठीक है, फिर भी आप की जरूरत है इसे वास्तव में तेज़ बनाने के लिए शब्दकोश/हैशटेबल्स का उपयोग करें। ध्यान रखें कि प्रति कुंजी अधिक पंक्तियां हो सकती हैं। आप इसके लिए एक बहु-मूल्य हैशटेबल/शब्दकोश का उपयोग कर सकते हैं: https://github.com/SolutionsDesign/Algorithmia/blob/master/SD.Tools.Algorithmia/GeneralDataStructures/MultiValueDictionary.cs