डेटा पहचान, विश्लेषण, फ़िल्टरिंग, और परिवर्तन - जीयूआई?

Question

डेटा परिवर्तन करने के लिए एक गैर-क्लाउड आधारित ओपन सोर्स ऐप की तलाश में; हालांकि एक हत्यारा (और मेरा मतलब है हत्यारा) ऐप सिर्फ डेटा परिवर्तनों के लिए बनाया गया है, मैं $ 1000 तक खर्च करने के इच्छुक हो सकता हूं।

मैंने Perl, Kapow Katalyst, Pentaho Kettle और बहुत कुछ देखा है।

पर्ल, पायथन, रूबी जो स्पष्ट रूप से भाषाएं हैं, लेकिन किसी भी चौखटे खोजने में असमर्थ/सिर्फ डेटा के प्रसंस्करण के लिए DSLs; जिसका अर्थ है कि वे वास्तव में एक महान विकास वातावरण नहीं हैं, जिसका अर्थ है कि RegEx, इनपुट/आउटपुट (सीएसवी, एक्सएमएल, जेडीबीसी, आरईएसटी, इत्यादि) के निर्माण के लिए कोई निर्मित जीयूआई नहीं है, डेटा की पंक्तियों और पंक्तियों के परीक्षण के लिए कोई डीबगर नहीं है - वे हैं बुरा नहीं, बस जो मैं खोज रहा हूं, वह जटिल डेटा परिवर्तनों के लिए निर्मित जीयूआई नहीं है; उस ने कहा, मुझे अच्छा लगेगा कि जीयूआई/एप फ़ाइल एक स्क्रिप्टिंग भाषा में थी, और न केवल कुछ मानव पठनीय एक्सएमएल/एएससीआईआईआई फाइल में संग्रहित है।

Kapow Katalyst HTTP के माध्यम से डेटा तक पहुँचने (एचटीएमएल, सीएसएस, आरएसएस, जावास्क्रिप्ट, आदि) यह असंरचित पाठ बदलने के लिए एक अच्छी जीयूआई गया है के लिए किया जाता है, लेकिन वह अपने मूल मूल्य की पेशकश नहीं है, और जिस तरह से, जिस तरह से है बहुत महंगा। यह दस्तावेज़ नामस्थान पथों को घुमाने का ठीक काम करता है; यह अनुमान लगाता है कि यह बैक एंड पर सिर्फ XPath है, क्योंकि सिंटैक्स समान प्रतीत होता है।

पेंटाहो केटल में सबसे आम डेटा स्टोर्स के INPUT/OUTPUT के लिए एक अच्छा जीयूआई है, और डेटा प्रोसेसिंग को संभालने पर इसका अपना लेना है; जो ठीक है, और सिर्फ एक छोटा सीखने वक्र है। केटल का डीबगर ठीक है, उसमें डेटा देखना आसान है, लेकिन त्रुटियों और अपवादों को आउटपुट के साथ थ्रेड नहीं किया जाता है, और वास्तव में किसी समस्या को डीबग करने का कोई तरीका नहीं है; जिसका अर्थ है कि आप आउटपुट/त्रुटि/अपवाद को पुनः लोड नहीं कर सकते हैं, लेकिन सिस्टम फीडबैक देखने में सक्षम हैं। जो कुछ भी कहा गया है, केटल डेटा परिवर्तन _______ है, चलिए बस यह कहें कि मुझे कुछ याद आ रहा है, क्योंकि मैं पूरी तरह से परेशान था "अगर यह संभव नहीं है, तो बस जावास्क्रिप्ट में परिवर्तन लिखें"; क्या?

तो, कोई सुझाव? मुझे एहसास है कि मैंने वास्तव में किसी भी transformations को spec'd नहीं किया है, लेकिन अगर आप वास्तव में डेटा मंगिंग के लिए एक उत्पाद का उपयोग करते हैं, तो मुझे लगता है कि मैं इसके बारे में जानना चाहता हूं; मुझे लगता है कि एक्सेल, मुझे लगता है।

सामान्य रूप से, वर्तमान में, मैं वर्तमान में ऐसे उत्पाद की तलाश में हूं जो 10-100 कॉलम के साथ 1000-100,000 पंक्तियों को संभालने में सक्षम है। यह बहुत अच्छा होगा अगर यह डेटा सेट प्रोफाइल कर सकता है, जो एक विशेषता केटल प्रकार है, लेकिन सुपर अच्छी तरह से नहीं है। मुझे इकाई परीक्षण में भी बनाया जाना चाहिए, जिसका अर्थ है कि मैं डेटा के नियंत्रण सेट बनाने में सक्षम हूं, और नियंत्रण सेट के खिलाफ किए गए परिवर्तन चलाता हूं। फिर मैं पंक्तियों और स्तंभों को चुनिंदा रूप से फ़िल्टर करने में सक्षम होना चाहता हूं क्योंकि मैं निर्माण को बदलने के बिना परिवर्तन का निर्माण करता हूं; उदाहरण के लिए, मैं रूपांतरण के माध्यम से एक डेटा सेट चलाता हूं, परिणामों को फ़िल्टर करता हूं, और अगली रन उन सेटों को स्वचालित रूप से पहली "तार्किक" घटना पर अवरुद्ध कर दिया जाता है; जो बदले में "बढ़ने" के लिए कम डेटा और प्रत्येक उन्नत पुनरावृत्ति प्रति कम रनटाइम का मतलब होगा; पागल अच्छा क्या होगा अगर मैं पंक्तियों/स्तंभों को फ़िल्टर करना चाहता हूं तो ऐप उनको ट्रैक कर रहा है, (और आउटपुट फ़िल्टर किया गया था)। और इकाई ने किसी भी बदलाव का परीक्षण/हाइलाइट किया। यदि मैंने कोई परिवर्तन किया है जो एप्लिकेशन लॉग को प्रभावित करेगा और "शाखा को तोड़ने" के आधार पर यूनिट परीक्षणों को ट्रैक करने की क्षमता है - यह मुझे चेतावनी देगा, मुझे डेटा संग्रहीत शाखा को डंप करने दें ... और/या ट्रैक आउटपुट की अगली पीढ़ी में अंतर के लिए प्राथमिक कुंजी, या यहां तक ​​कि अस्पष्ट तर्क का उपयोग करके मिलान करने का प्रयास करें। और हाँ, मुझे पता है कि यह एक पाइप सपना है, लेकिन हे, मुझे लगा कि मैं पूछूंगा, बस अगर वहां कुछ है तो मैंने कभी नहीं देखा है।

टिप्पणी करने के लिए स्वतंत्र महसूस करें, मुझे किसी भी प्रश्न का उत्तर देने में खुशी होगी, या अतिरिक्त जानकारी प्रदान की जाएगी।

Answer 1

Google Refine?

Answer 2

मैं सुनिश्चित नहीं हूं डेटा या वास्तव में परिवर्तनों तुम क्या करने की कोशिश कर रहे है कि किस तरह की वास्तव में किस तरह का है, लेकिन अगर यह मुख्य रूप से गणितीय परिवर्तन है तो शायद आप FreeMat, Octave, या SciLab कोशिश कर सकते हैं। यदि यह अधिक डेटा-वेयरहाउस-स्टाइल मुंगिंग है, तो Clover, Talend, JasperETL सामुदायिक संस्करण, या Jitterbit जैसे ओपन सोर्स ईटीएल टूल्स का प्रयास करें।

Answer 3

प्रतिभा को आपके समय के 5 मिनट से अधिक समय की आवश्यकता होगी, शायद मूलभूत परिवर्तनों को तारित करने के लिए लगभग 1 घंटे के करीब और संस्करण नियंत्रण नियंत्रण को रखने के लिए आपकी आवश्यकता को पूरा करने में सक्षम होना चाहिए। आपने एक पाइपलाइन प्रक्रिया का वर्णन किया है जिसे Talend में आसानी से किया जा सकता है जब आप जानते हैं कि, जहां आपके पास एक परियोजना में एकाधिक इनपुट और आउटपुट हैं, वही कच्चा डेटा विभिन्न परिवर्तनों और फ़िल्टरिंग के माध्यम से जाता है, जब तक कि आप वांछित आउटपुट के रूप में नहीं आते। फिर आप समान डेटा पर प्रक्रिया को दोहराने के लिए अपनी नौकरियों को शेड्यूल कर सकते हैं। वापस जाएं और Talend के साथ अधिक समय बिताएं, और आपको जो चाहिए वह सफल हो जाएगा, मुझे यकीन है।

मैं भी Google परिष्कृत के कमेटरों में से एक बनता हूं और अपने दैनिक काम में Talend का भी उपयोग करता हूं। मैं वास्तव में कभी-कभी Google परिष्कृत में Talend के लिए अपने परिवर्तनों का मॉडल करता हूं। (कभी-कभी बोर्कड ईटीएल पर क्लीनअप करने के लिए परिष्कृत करने का उपयोग भी स्वयं को बदल देता है! एलओएल) मैं आपको बता सकता हूं कि Talend के साथ मेरा अनुभव Google Refine की कुछ विशेषताओं में एक छोटा सा हिस्सा निभाता है। उदाहरण के लिए, Talend और Google Refine दोनों में आपके परिवर्तनों के लिए एक अभिव्यक्ति संपादक की अवधारणा है (यदि आवश्यक हो तो Talend जावा भाषा में नीचे जाता है)।

Google परिष्कृत कभी भी ईटीएल उपकरण नहीं होगा, इस अर्थ में कि हमने इसे उस स्थान में प्रतिस्पर्धा करने के लिए डिज़ाइन नहीं किया है, ईटीएल आमतौर पर बड़े डेटा वेयरहाउस बैकएंड प्रोसेसिंग & रूपांतरणों के लिए उपयोग किया जाता है। हालांकि, हमने आपके प्रतिस्थापन और सफाई के बारे में सूचित निर्णय लेने के लिए आसान लाइव पूर्वावलोकन करने की अनुमति देकर Talend जैसे मौजूदा ईटीएल उपकरणों की सराहना करने के लिए Google Refine को डिज़ाइन किया है, और यदि आपका डेटा अविश्वसनीय रूप से विशाल नहीं है, तो आप स्वयं को परिशोधित करने के लिए जो कुछ भी चाहते हैं उसे करने का विकल्प चुन सकते हैं ।