pyspark

6गर्मी

4उत्तर

में बफर आवंटित करता है कृपया यह समझने में सहायता करें कि क्रियो सीरियलाइज़र अपने बफर के लिए स्मृति आवंटित करता है। मेरा स्पार्क ऐप एक संग्रह चरण में विफल रहता है जब यह श्रमिकों के ड्राइवर को लगभग 122

14गर्मी

1उत्तर

पीईएसपार्क डेटाफ्रेम

में नए कॉलम के रूप में कॉलम योग जोड़ें, मैं पीईएसपार्क का उपयोग कर रहा हूं और मेरे पास संख्यात्मक कॉलम के समूह के साथ स्पार्क डेटाफ्रेम है। मैं एक कॉलम जोड़ना चाहता हूं जो कि अन्य सभी स्तंभों का योग ह

10गर्मी

1उत्तर

डाटाबेस (स्पार्क): .gg निर्भरता स्वचालित रूप से स्थापित नहीं है?

मेरे पास स्थानीय रूप से बनाया गया .egg पैकेज है जो boto==2.38.0. पर निर्भर करता है मैंने बिल्ड वितरण बनाने के लिए setuptools का उपयोग किया। सब कुछ मेरे अपने स्थानीय वातावरण में काम करता है, क्योंकि यह

5गर्मी

1उत्तर

कनेक्ट S3 के लिए PySpark

से डेटा मैं एक चिंगारी संदर्भ बनाने के लिए एक JSON फ़ाइल, अमेज़न S3 से पढ़ा है, और डेटा की प्रक्रिया करने के लिए इसका इस्तेमाल करने की कोशिश कर रहा हूँ। स्पार्क मूल रूप से एक डॉकर कंटेनर में है। इसलिए

5गर्मी

1उत्तर

प्रतिक्रिया: अपाचे स्पार्क निर्णय पेड़ के लिए विजुअलाइजेशन

अपाचे स्पार्क के साथ मैंने जो मुद्दों को चलाया है, उनमें से एक निर्णय पेड़ को देख रहा है। मैं DecisionTree.trainClassifier का उपयोग करके एक पेड़ का उत्पादन कर सकता हूं। और मैं का उपयोग कर कुछ मौलिक उत

7गर्मी

1उत्तर

समझौता treeReduce() स्पार्क में

आप कार्यान्वयन यहाँ देख सकते हैं: https://github.com/apache/spark/blob/ffa05c84fe75663fc33f3d954d1cb1e084ab3280/python/pyspark/rdd.py#L804 कैसे यह 'सामान्य' reduce समारोह से अलग है? इसका अर्थ क्या है

6गर्मी

1उत्तर

पाइथन स्पार्क

का उपयोग कर कफका को बड़े सीएसवी भेजना मैं कफका को एक बड़ा सीएसवी भेजने की कोशिश कर रहा हूं। मूल संरचना सीएसवी की एक रेखा को पढ़ने और शीर्षलेख के साथ ज़िप करने के लिए है। a = dict(zip(header, line.spli

5गर्मी

1उत्तर

PySpark के reduceByKey के लिए एक प्रमुख के रूप में एक सूची

मैं प्रारूप के आंकड़ों पर pyspark की reduceByKey फ़ंक्शन को कॉल करने का प्रयास कर रहा हूँ (([a,b,c], 1), ([a,b,c], 1), ([a,d,b,e], 1), ... ऐसा लगता है pyspark सामान्य कुंजी में महत्वपूर्ण हैं, बस से म

8गर्मी

1उत्तर

अपाचे स्पार्क: डेटाफ्रेम से मैट्रिक्स कैसे बनाएं?

मेरे पास पूर्णांक की सरणी के साथ अपाचे स्पार्क में डेटाफ्रेम है, स्रोत छवियों का एक सेट है। मैं अंत में पीसीए करना चाहता हूं, लेकिन मुझे अपने सरणी से सिर्फ मैट्रिक्स बनाने में परेशानी हो रही है। मैं आ

5गर्मी

3उत्तर

Pyspark

में समय श्रृंखला डेटा के साथ स्लाइडिंग विंडो के साथ डेटा को कैसे परिवर्तित करें मैं समय श्रृंखला डेटा के साथ स्लाइडिंग विंडो के आधार पर सुविधाओं को निकालने का प्रयास कर रहा हूं। स्काला में, ऐसा लगता ह