पुन: व्यवस्थित करें सीएसवी इनपुट तय स्तंभ के साथ कॉलम pentaho में

Question

परिदृश्य पाने के लिए कैसे:

मैं बनाया है csv फ़ाइल से तालिका में डेटा लोड करने के लिए परिवर्तन और मैं csv फ़ाइल में निम्न स्तंभ है:

1. CUSTOMER_ID
2. Company_Id
3. Employee_Name

लेकिन उपयोगकर्ता के साथ इनपुट फ़ाइल दे सकते हैं स्तंभ आदेश (यादृच्छिक क्रम)

1. Employee_Name
2. रूप Company_Id
CUSTOMER_ID

इसलिए, अगर मैं के अनुसार लोड सही स्तंभ मान केतली जाएगा फ़ाइल जो यादृच्छिक स्तंभ आदेश है लोड करने का प्रयास, कॉलम नाम ...?

Answer 1

ETL Metadata Injection का उपयोग करके आप इस तरह एक परिवर्तन का उपयोग या तो डेटा को सामान्य बनाने में कर सकते हैं, या अपने डेटाबेस में संग्रहीत करने के:

तो फिर तुम सिर्फ इतना है कि परिवर्तन के लिए सही डेटा भेजने की जरूरत है। आप सीएसवी से हेडर लाइन पढ़ सकते हैं, और ETL Metadata Injection द्वारा उपयोग किए गए प्रारूप में कनवर्ट करने के लिए Row Normaliser का उपयोग कर सकते हैं।

मैंने यहां एक त्वरित उदाहरण शामिल किया है: csv_inject on Dropbox, यदि आप ऐसा कुछ करते हैं और इसे प्रति सीएसवी फ़ाइल चलाने वाले किसी चीज़ से चलाते हैं तो इसे काम करना चाहिए।

Answer 2

आप अपने जावास्क्रिप्ट के रूप में कुछ इस तरह की कोशिश कर सकते:

//Script here 

var seen; 
trans_Status = CONTINUE_TRANSFORMATION; 
var col_names = ['Customer_Id','Company_Id','Employee_Name']; 
var col_pos; 
if (!seen) { 
    // First line 
    trans_Status = SKIP_TRANSFORMATION; 
    seen = 1; 
    col_pos = [-1,-1,-1]; 
    for (var i = 0; i < col_names.length; i++) { 
     for (var j = 0; j < row.length; j++) { 
      if (row[j] == col_names[i]) { 
       col_pos[i] = j; 
       break; 
      } 
     } 
     if (col_pos[i] === -1) { 
      writeToLog("e", "Cannot find " + col_names[i]); 
      trans_Status = ERROR_TRANSFORMATION; 
      break; 
     } 
    } 
} 

var Customer_Id = row[col_pos[0]]; 
var Company_Id = row[col_pos[1]]; 
var Employee_Name = row[col_pos[2]]; 

यहाँ .ktr मैंने कोशिश की है: csv_reorder.ktr

(संपादित करें, यहां परीक्षण csv फ़ाइलें हैं) 1.csv:

Customer_Id,Company_Id,Employee_Name 
cust1,comp1,emp1 

2.csv:

Employee_Name,Company_Id,Customer_Id 
emp2,comp2,cust2 

Answer 3

ओह, यह कुछ बुरा जावास्क्रिप्ट है!

ऐसा करने का तरीका मेटाडाटा इंजेक्शन के साथ है। नमूने देखें, लेकिन मूल रूप से आपको एक टेम्पलेट चाहिए जो फ़ाइल को पढ़ता है, और इसे वापस लिखता है। फिर आप हेडिंग को समझने के लिए एक और पैरेंट ट्रांसफ़ॉर्मेशन का उपयोग करें, उस टेम्पलेट को कॉन्फ़िगर करें और फिर इसे निष्पादित करें।

पीडीआई नमूने फ़ोल्डर में नमूने हैं, और गीथब पर मैट कास्टर्स ब्लूप्रिंट्स प्रोजेक्ट में "फ़ाइल प्रारूप को चित्रित करना" उदाहरण भी देखें।

Answer 4

इनपुट फ़ाइल को अस्वीकार करने का मानना ​​एक विकल्प नहीं है जिसका मूल रूप से आपके पास 4 समाधान हैं।

1. एक बाहरी संपादक में क्षेत्रों को पुन: व्यवस्थित (एक्सेल का उपयोग नहीं करते, तो यह दिनांक होते हैं) अपने परिवर्तन स्तंभ शीर्ष लेखों का पता लगाने और फ़ाइल को पुन: व्यवस्थित करने के लिए भीतर
2. उपयोग कोड।
3. बोलाव
4. द्वारा प्रस्तावित मेटाडाटा इंजेक्शन का उपयोग करें। इसकी आवश्यकता है:

ए। फ़ाइल को एक अस्थायी डेटाबेस में लोड करें। बी। फ़ील्ड को पुनर्प्राप्त करने के लिए एक एसक्यूएल कथन का उपयोग करें (खंड द्वारा ऑर्डर के साथ एक चयन का उपयोग करें) सी। फ़ाइल को सही क्रम में आउटपुट