partitionBy स्पार्क के बिना यह

Question

मैं के साथ लेखन का परीक्षण तुलना में बहुत धीमी:

df.write.partitionBy("id", "name") 
    .mode(SaveMode.Append) 
    .parquet(filePath) 

लेकिन अगर मैं विभाजन बाहर छोड़: तेजी से

df.write 
    .mode(SaveMode.Append) 
    .parquet(filePath) 

यह 100x कार्यान्वित (!)।

क्या विभाजन के दौरान लिखने के लिए डेटा की मात्रा में 100x अधिक समय लगाना सामान्य है?

क्रमशः 10 और 3000 अद्वितीय id और name कॉलम मान हैं। DataFrame में 10 अतिरिक्त पूर्णांक कॉलम हैं।

Answer 1

पहला कोड स्निपेट फाइल सिस्टम (स्थानीय या एचडीएफएस) में प्रति विभाजन एक लकड़ी की छत फ़ाइल लिख देगा। इसका मतलब है कि यदि आपके पास 10 विशिष्ट आईडी और 3000 अलग-अलग नाम हैं तो यह कोड 30000 फाइलें बनाएगा। मुझे संदेह है कि फाइलें बनाने, ओवरक्वाइड मेटाडाटा, आदि लिखने का ओवरहेड काफी बड़ा है (शफल करने के अलावा)।

स्पार्क सबसे अच्छा डेटाबेस इंजन नहीं है, यदि आपका डेटासेट स्मृति में फिट बैठता है तो मैं एक संबंधपरक डेटाबेस का उपयोग करने का सुझाव देता हूं। यह काम करने के लिए तेज़ और आसान होगा।