मैं स्पार्क ओआरसी इंडेक्स का उपयोग कैसे करूं?

Question

स्पार्क से ओआरसी अनुक्रमण को सक्षम करने का विकल्प क्या है?

  df 
      .write() 
      .option("mode", "DROPMALFORMED") 
      .option("compression", "snappy") 
      .mode("overwrite") 
      .format("orc") 
      .option("index", "user_id") 
      .save(...); 

मैं .option("index", uid) बना रही हूँ, मैं Orc से सूचकांक कॉलम "user_id" करने के लिए वहाँ डाल करने के लिए क्या करना होगा।

Answer 1

क्या आपने कोशिश की है: .partitionBy("user_id")?

df 
     .write() 
     .option("mode", "DROPMALFORMED") 
     .option("compression", "snappy") 
     .mode("overwrite") 
     .format("orc") 
     .partitionBy("user_id") 
     .save(...)