जेपीबीसी

Question

के माध्यम से पीएसपीर्क डेटाफ्रेम से बाहरी डेटाबेस तालिका में डालने के दौरान डिप्लिकेट कुंजी अपडेट पर, ठीक है, मैं पीईएसपार्क का उपयोग कर रहा हूं और मेरे पास स्पार्क डेटाफ्रेम है जिसका उपयोग मैं डेटा को एक MySQL तालिका में डालता हूं।

url = "jdbc:mysql://hostname/myDB?user=xyz&password=pwd"

df.write.jdbc(url=url, table="myTable", mode="append")

मैं एक स्तंभ मान अपने स्तंभ मान का योग है और एक विशिष्ट संख्या से (जो प्राथमिक कुंजी में नहीं है) को अद्यतन करना चाहते हैं।

मैं अलग प्रकार (संलग्न, ऊपर लिख) DataFrameWriter.jdbc() फ़ंक्शन के साथ की कोशिश की है।

मेरा प्रश्न यह है कि हम एक कॉलम मान को कैसे अपडेट करते हैं जैसे हम इसे ON DUPLICATE KEY UPDATE के साथ mysql में करते हैं, जबकि एक तालिका में pyspark डेटाफ्रेम डेटा डालने के दौरान।

Answer 1

का संभावित हल एक मचान तालिका में डेटा सम्मिलित करें, और तब यह एक SQL विवरण चालक कार्यक्रम द्वारा निष्पादित का उपयोग कर अंतिम तालिका में स्थानांतरित करने के लिए है। आप अपने डेटाबेस प्रदाता से प्रासंगिक किसी भी वैध SQL वाक्यविन्यास का उपयोग कर सकते हैं।