structured-streaming

8गर्मी

2उत्तर

में वॉटरमार्केड एकत्रीकरण क्वेरी के लिए खाली आउटपुट मैं स्पार्क 2.2.0-आरसी 1 का उपयोग करता हूं। मैं एक काफ्का topic जो मैं एक चल वॉटरमार्क एकत्रीकरण की क्वेरी रहा हूँ, एक 1 minute वॉटरमार्क के साथ, ap

7गर्मी

1उत्तर

kafka कनेक्ट 0.10 और स्पार्क संरचित स्ट्रीमिंग से_json का उपयोग कैसे करें?

मैं [डाटाबेस] [1] से उदाहरण को पुन: उत्पन्न करने की कोशिश कर रहा था और इसे कफका और स्पार्क संरचित स्ट्रीमिंग के नए कनेक्टर पर लागू करता हूं, हालांकि मैं स्पार्क में आउट-ऑफ-द-बॉक्स विधियों का उपयोग करक

5गर्मी

3उत्तर

स्पार्क संरचित स्ट्रीमिंग पर मैं दो धाराओं के बीच कैसे जुड़ूं? - जावा 8

मुझे पता है, दो धाराओं के बीच शामिल होने के लिए अभी तक समर्थित नहीं है। लेकिन वैसे भी ऐसा करने का कोई तरीका है? या मुझे स्पार्क 2.2.0 के लिए इंतजार करना होगा? धन्यवाद

5गर्मी

1उत्तर

स्ट्रक्चरर्ड स्ट्रीमिंग में केवल एक बार साइड इफेक्ट्स (println) क्यों बदलता है?

select कथन प्रत्येक बैच मुद्रित क्यों किया जाता है लेकिन hello world केवल एक बार? import org.apache.spark.sql.types._ val schema = StructType( StructField("id", LongType, nullable = false) ::

6गर्मी

1उत्तर

स्पार्क संरचित स्ट्रीमिंग

में अलग स्ट्रीमिंग प्रश्नों को निष्पादित करना मैं दो अलग-अलग विंडो के साथ स्ट्रीम को एकत्र करने और इसे कंसोल में प्रिंट करने की कोशिश कर रहा हूं। हालांकि केवल पहली स्ट्रीमिंग क्वेरी मुद्रित की जा रही

5गर्मी

2उत्तर

स्पार्क संरचित स्ट्रीमिंग: एकाधिक सिंक

1) हम संरचित स्ट्रीमिंग का उपयोग करके कफका से उपभोग कर रहे हैं और संसाधित डेटा सेट को एस 3 पर लिख रहे हैं। हम भी संसाधित डेटा को कफका आगे बढ़ाना चाहते हैं, क्या यह एक ही स्ट्रीमिंग क्वेरी से करना संभव

5गर्मी

3उत्तर

अपाचे स्पार्क (स्ट्रीमिंग संरचित): S3 चेकप्वाइंट समर्थन

चिंगारी संरचित स्ट्रीमिंग का प्रलेखन से: "यह चौकी स्थान एक HDFS संगत फाइल सिस्टम में एक रास्ता हो गया है, और जब एक शुरू करने DataStreamWriter में एक विकल्प के रूप में स्थापित किया जा सकता है क्वेरी। "

5गर्मी

1उत्तर

संरचित स्ट्रीमिंग अलग स्ट्रीमिंग प्रश्नों को कैसे निष्पादित करता है (समांतर या अनुक्रमिक रूप से)?

मैं एक परीक्षण अनुप्रयोग लिख रहा हूं जो काफ्का के टॉपसीस से संदेशों का उपभोग करता है और फिर डेटा को एस 3 में और आरडीबीएमएस टेबल में धक्का देता है (प्रवाह यहां प्रस्तुत करने के समान है: https://databri

6गर्मी

1उत्तर

संरचित स्ट्रीमिंग का उपयोग कर काफ़का से जेएसओएन प्रारूप में रिकॉर्ड कैसे पढ़ा जाए?

मैं कफका से डेटा की स्ट्रीम लोड करने के लिए डेटाफ्रेम/डेटासेट एपीआई के आधार पर स्पार्क-स्ट्रीमिंग का उपयोग करके structured streaming approach का उपयोग करने का प्रयास कर रहा हूं। मैं का उपयोग करें: स्प