udf

5गर्मी

1उत्तर

स्पार्क यूडीएफ

का उपयोग कर जटिल प्रकारों को कैसे वापस करें नमस्कार और अग्रिम में धन्यवाद। मेरा कार्यक्रम जावा में लिखा गया है और मैं स्कैला में नहीं जा सकता। मैं वर्तमान में एक चिंगारी DataFrame निम्न पंक्ति का उपयो

java json apache-spark user-defined-functions udf 2016-09-28

---

13गर्मी

1उत्तर

एक यूडीएफ परिभाषित करना जो स्पार्क डेटाफ्रेम में ऑब्जेक्ट्स के ऐरे को स्वीकार करता है?

स्पार्क के डेटाफ्रेम के साथ काम करते समय, कॉलम में डेटा मैपिंग के लिए उपयोगकर्ता परिभाषित फ़ंक्शन (यूडीएफ) आवश्यक हैं। यूडीएफ की आवश्यकता है कि तर्क प्रकार स्पष्ट रूप से निर्दिष्ट हैं। मेरे मामले में,

scala apache-spark dataframe spark-dataframe udf 2016-08-17

---

5गर्मी

1उत्तर

मानचित्र और udf

के बीच अंतर जब मैं स्पार्क में डेटाफ्रेम के साथ काम करता हूं, तो मुझे कभी-कभी उस डेटाफ्रेम में किसी विशेष कॉलम के मानों को संपादित करना होता है। उदाहरण के लिए। अगर मेरे पास count फ़ील्ड मेरे डेटाफ्रेम

scala apache-spark udf 2016-08-19

---

5गर्मी

1उत्तर

स्पार्क स्ट्रक्चर स्ट्रक्चरफील्ड नाम यूडीएफ

में बदल रहे हैं मैं स्पार्क में udf में एक स्ट्रक्चर पास करने की कोशिश कर रहा हूं। यह फ़ील्ड नाम बदल रहा है और कॉलम स्थिति में नाम बदल रहा है। मैं इसे कैसे ठीक करूं? object TestCSV { def main(

apache-spark struct udf 2017-03-08

---

8गर्मी

2उत्तर

कॉलम

के साथ udf के लिए डेटा फ्रेम कॉलम और बाहरी सूची को पास करना मेरे पास निम्न संरचना के साथ स्पार्क डेटाफ्रेम है। BodyText_token में टोकन (संसाधित/शब्दों का सेट) है। और मैं परिभाषित कीवर्ड root |-- id:

python apache-spark pyspark apache-spark-sql udf 2016-05-24

---

5गर्मी

1उत्तर

हाइव

में रविवार को छोड़कर दिनों की संख्या की गणना करें मेरे पास इनपुट के रूप में दो टाइमस्टैम्प हैं। मैं रविवार को छोड़कर उन टाइमस्टैम्प के बीच घंटों में समय अंतर की गणना करना चाहता हूं। मैं DateDiff छत्ता

hive hiveql udf 2016-07-15

---

8गर्मी

3उत्तर

स्ट्रक्चर टाइप/पंक्ति

के लिए स्पार्क यूडीएफ मेरे पास स्पार्क डेटाफ्रेम में "स्ट्रक्चर टाइप" कॉलम है जिसमें उप-फ़ील्ड के रूप में एक सरणी और स्ट्रिंग है। मैं सरणी को संशोधित करना चाहता हूं और उसी प्रकार के नए कॉलम को वापस कर

scala apache-spark udf 2017-03-21

---

5गर्मी

1उत्तर

एयरोस्पाइक NodeJS यूडीएफ एकत्रीकरण त्रुटि

मैं एक समग्र समारोह जो एयरोस्पाइक जो AQL में काम करता है में काम करता है बना लिया है। मैं तो NodeJS में एक ही यूडीएफ का उपयोग करने के कोशिश कर रहा हूँ: { code: 100, message: 'UDF: Execution Error

node.js lua udf aerospike 2016-02-28

---

6गर्मी

3उत्तर

Pyspark में तिथियों के कॉलम से दिनों के कॉलम को घटाना कैसे?

निम्नलिखित PySpark DataFrame df = sqlContext.createDataFrame([('2015-01-15', 10), ('2015-02-15', 5)], ('date_col', 'days_col')) कैसे दिनों स्तंभ तारीख स्तंभ से घटाया जा सकता

python apache-spark pyspark spark-dataframe udf 2016-03-17

---

5गर्मी

1उत्तर

स्पार्क एसक्यूएल नेस्टल के साथ घोंसला

मेरे पास डेटाफ्रेम है जिसमें कई कॉलम हैं जिनमें से कुछ structs हैं। इस root |-- foo: struct (nullable = true) | |-- bar: string (nullable = true) | |-- baz: string (nullable = true) |-- abc: array

scala apache-spark dataframe udf 2017-06-29

---