डेटाफ्रेम

Question

के विभाजन की वर्तमान संख्या प्राप्त करें क्या डेटाफ्रेम के विभाजन की वर्तमान संख्या प्राप्त करने का कोई तरीका है? मैंने डेटाफ्रेम जैवाडोक (स्पार्क 1.6) की जांच की और इसके लिए कोई विधि नहीं मिली, या क्या मुझे बस याद आया?

Answer 1

आप DataFrame की अंतर्निहित RDD, उदाहरण के लिए, df.rdd.getNumPartitions() पर getNumPartitions() कॉल करने की आवश्यकता (JavaRDD के मामले में वहाँ एक getNumPartitions() विधि। है)।

Answer 2

RDD में बदलने का तो विभाजन लंबाई

DF.rdd.partitions.length 

Answer 3

val df = Seq(
    ("A", 1), ("B", 2), ("A", 3), ("C", 1) 
).toDF("k", "v") 

df.rdd.getNumPartitions