5
स्पार्क स्ट्रीमिंग में बैच आरडीडी के बैच हैं। 3 आरडीडी के बैच का उपयोग करें।स्पार्क स्ट्रीमिंग में आरडीडी विभाजन
प्रलेखनइसके अलावा चिंगारी का कहना है कि एक ब्लॉक रिसीवर द्वारा हर 200 मि.से बनाई गई है, और विभाजन ब्लॉक करने के लिए आवंटित किया है।
1 सेकंड में कहें कि मेरे पास 3 आरडीडी का बैच है, 200 ब्लॉक माना जाता है तो 5 ब्लॉक के साथ।
तो कैसे एक RDD कार्यकर्ता नोड्स भर में विभाजित हो जाएगी, एकल RDD कि विभाजित किया जाएगा या एक पूरा बैच है।
मैंने इसे गलत तरीके से लिया होगा। कृपया मुझे मार्गदर्शन करें
अरे धन्यवाद @maasg – dexter
धन्यवाद @maasg। बस पुष्टि करने के लिए, यदि हमारे पास एकाधिक रिसीवर हैं तो हमारे पास एकाधिक डीस्ट्रीम हैं और प्रत्येक डीस्ट्रीम एक आरडीडी से मेल खाता है। इसलिए, जब हम एकाधिक Dstreams संघ करते हैं तो हमें एक एकल डीस्ट्रीम मिलता है। इस डीस्ट्रीम में कई आरडीडी या एकल आरडीडी शामिल है? –
@ DineshSachdev108 बू परिभाषा संघ() इसका मतलब यह है परिणाम एक dStream रूप में अच्छी तरह हो जाएगा "एक नया DStream कि स्रोत DStream और otherDStream में तत्वों की यूनियन शामिल लौटें" होगा। और परिभाषा के अनुसार "डीस्ट्रीम को आरडीडी के अनुक्रम के रूप में दर्शाया जाता है। जिसका अर्थ है कि परिणामस्वरूप आपके रिसीवर को कितने बैच प्राप्त हुए हैं, इसके परिणामस्वरूप कई आरडीडी होंगे। – bigdatamann