स्पार्क एसक्यूएल में अवरोही क्रम में कॉलम द्वारा क्रमबद्ध कैसे करें?

Question

मैंने df.orderBy("col1").show(10) की कोशिश की लेकिन यह आरोही क्रम में क्रमबद्ध है। df.sort("col1").show(10) अवरोही क्रम में भी प्रकार है। मैंने स्टैक ओवरफ्लो देखा और मुझे जो जवाब मिले, वे सभी पुराने थे या referred to RDDs थे। मैं स्पार्क में देशी डेटा फ्रेम का उपयोग करना चाहता हूं।

Answer 1

यह sort विधि के लिए org.apache.spark.sql.DataFrame में बताया गया है:

df.sort($"col1", $"col2".desc) 

नोट $ और .descsort अंदर स्तंभ परिणामों को क्रमित करना के लिए।

Answer 2

तुम भी आयात करने चिंगारी एसक्यूएल कार्यों द्वारा स्तंभ सॉर्ट कर सकते हैं

import org.apache.spark.sql.functions._ 
df.orderBy(asc("col1")) 

या

import org.apache.spark.sql.functions._ 
df.sort(desc("col1")) 

sqlContext.implicits._

import sqlContext.implicits._ 
df.orderBy($"col1".desc) 

या

का आयात

import sqlContext.implicits._ 
df.sort($"col1".desc) 

Answer 3

df.sort ($ "columnName" .desc) .show()

Answer 4

सबसे आसान तरीका है बस पैरामीटर आरोही = झूठी जोड़ने के लिए है:

df.orderBy("col1", ascending=False).show(10) 

संदर्भ: http://spark.apache.org/docs/2.1.0/api/python/pyspark.sql.html#pyspark.sql.DataFrame.orderBy