बैच अंतराल के लिए डीस्ट्रीम कितने आरडीडी उत्पन्न करता है?

Question

डेटा के एक बैच अंतराल उत्पन्न करता है और डेटा की मात्रा कितनी बड़ी है, इस पर ध्यान दिए बिना डीस्ट्रीम में केवल एक आरडीडी उत्पन्न करता है?

Answer 1

हां, प्रति बैच अंतराल में बिल्कुल एक आरडीडी है, जो रिकॉर्ड की संख्या से स्वतंत्र प्रत्येक बैच अंतराल पर उत्पादित होता है (जो आरडीडी में शामिल होते हैं - इसमें शून्य रिकॉर्ड हो सकते हैं)।

यदि वहां नहीं था, और आरडीडी निर्माण तत्वों की संख्या पर सशर्त किया गया था, तो आपके पास सिंक्रोनस (माइक्रो-बैचिंग) स्ट्रीमिंग नहीं होगी, बल्कि असीमित प्रक्रिया का एक रूप होगा।

Answer 2

Spark Streaming Programming Guide - Discretized Streams (DStreams) में, वहाँ है:

एक DStream में प्रत्येक RDD एक निश्चित अंतराल से डेटा शामिल हैं