मैं कैसे बाल्टी फ़ाइलों को एक बाल्टीबी/सॉर्टकी मान एस 3 में सहेज सकता हूं?

Question

ऐसा लगता है कि इस

 df 
      .write() 
      .option("mode", "DROPMALFORMED") 
      .option("compression", "snappy") 
      .mode("overwrite") 
      .bucketBy(32,"column").sortBy("column") 
      .parquet("s3://...."); 

बाहर त्रुटि जाएगा त्रुटि

Exception in thread "main" org.apache.spark.sql.AnalysisException: 'save' does not support bucketing right now; at org.apache.spark.sql.DataFrameWriter.assertNotBucketed(DataFrameWriter.scala:314) 

मैं देख रहा हूँ saveAsTable("myfile") अभी भी समर्थित है, लेकिन यह केवल स्थानीय रूप से लिखते हैं के साथ। मैं saveAsTable(...) आउटपुट कैसे ले सकता हूं और नौकरी के बाद इसे एस 3 पर रखूंगा?

Answer 1

You Can use like below: 

    df 
       .write() 
       .option("mode", "DROPMALFORMED") 
       .option("compression", "snappy") 
       .option("path","s3://....") 
       .mode("overwrite") 
       .format("parquet") 
       .bucketBy(32,"column").sortBy("column") 
       .saveAsTable("tableName"); 

यह एक बाहरी तालिका S3 स्थान .option की ओर इशारा करते पैदा करेगा ("पथ", "S3: // ....") यहाँ पकड़ है