Pyspark DataFrame में चुना पंक्ति से विशिष्ट क्षेत्र हो रही

Question

मैं एक स्पार्क DataFrame रूप

sc = SparkContext() 
sqlc = SQLContext(sc) 

users_df = sqlc.read.json('users.json') 

pyspark के माध्यम से बनाया गया एक JSON फ़ाइल से अब है, मैं, एक chosen_user डेटा का उपयोग करना चाहते हैं, जहां यह है इसके _id फ़ील्ड मैं

print users_df[users_df._id == chosen_user].show() 

और यह मुझे उपयोगकर्ता की पूरी पंक्ति देता है। लेकिन मान लीजिए कि मैं पंक्ति में एक विशिष्ट फ़ील्ड चाहता हूं, उपयोगकर्ता लिंग कहूं, मैं इसे कैसे प्राप्त करूं?

Answer 1

बस को फ़िल्टर और का चयन करें:

result = users_df.where(users_df._id == chosen_user).select("gender") 

या col

from pyspark.sql.functions import col 

result = users_df.where(col("_id") == chosen_user).select(col("gender")) 

साथ अंत में PySpark बस कुछ एक्सटेंशन के साथ एक tuple उदाहरण flatMap के लिए है, तो आप कर सकते हैं:

result.rdd.flatMap(list).first() 

या map इस तरह कुछ के साथ:

result.rdd.map(lambda x: x.gender).first()