अपाचे फ्लिंक में वैश्विक सॉर्टिंग

Question

डेटासेट की सॉर्टपार्टिशन विधि कुछ निर्दिष्ट फ़ील्ड के आधार पर स्थानीय रूप से डेटासेट को टाइप करती है। मैं फ्लिंक में एक कुशल तरीके से वैश्विक स्तर पर अपना बड़ा डेटासेट कैसे प्राप्त कर सकता हूं?

Answer 1

यह वर्तमान में आसानी से संभव नहीं है क्योंकि फ्लिंक एक अंतर्निहित श्रेणी विभाजन रणनीति प्रदान नहीं करता है।

एक काम के आसपास एक कस्टम Partitioner लागू करने के लिए है:

DataSet<Tuple2<Long, Long>> data = ... 
data 
    .partitionCustom(new Partitioner<Long>() { 
    int partition(Long key, int numPartitions) { 
     // your implementation 
    } 
    }, 0) 
    .sortPartition(0, Order.ASCENDING) 
    .writeAsText("/my/output"); 

नोट: विशिष्ट विभाजक साथ संतुलित विभाजन को प्राप्त करने के लिए, आप मूल्य सीमा और चाबी के वितरण के बारे में पता करने की जरूरत है ।

अपाचे फ्लिंक में एक श्रेणी विभाजनकर्ता (स्वचालित नमूनाकरण के साथ) के लिए समर्थन वर्तमान में work in progress है और जल्द ही उपलब्ध होना चाहिए।

संपादित करें (7 जून, 2016): रेंज विभाजन को संस्करण 1.0.0 के साथ अपाचे फ्लिंक में जोड़ा गया था। आप विश्व स्तर पर तरह एक डेटा इस प्रकार सेट कर सकते हैं:

DataSet<Tuple2<Long, Long>> data = ... 
data 
    .partitionByRange(0) 
    .sortPartition(0, Order.ASCENDING) 
    .writeAsText("/my/output"); 

ध्यान दें कि नमूने इनपुट डेटा समान रूप से आकार विभाजन के लिए एक डेटा वितरण की गणना करने के लिए सेट विभाजन करने वाली श्रेणी।