अपाचे स्पार्क एमएलआईबी मॉडल फ़ाइल प्रारूप

Question

अपाचे स्पार्क एमएलआईबीब एल्गोरिदम (उदा।, निर्णय पेड़) मॉडल को किसी स्थान पर सहेजते हैं (उदा।, myModelPath) जहां यह दो निर्देशिकाएं बनाता है, जैसे। myModelPath/data और myModelPath/metadata। इन पथों में कई फाइलें हैं और वे टेक्स्ट फाइल नहीं हैं। प्रारूप *.parquet प्रारूप की कुछ फ़ाइलें हैं।

मैं सवालों का जोड़ी:

• इन फ़ाइलों के प्रारूप क्या हैं?
• कौन सी फ़ाइल/फाइलों में वास्तविक मॉडल है?
• क्या मैं मॉडल को कहीं और सहेज सकता हूं, उदाहरण के लिए डीबी में?

Answer 1

इन फ़ाइलों का प्रारूप क्या है?

• data/*.parquet फ़ाइलों Apache Parquet स्तंभ भंडारण प्रारूप
• metadata/part-* में हैं JSON

तरह लग रहा है कौन सा फ़ाइल/फ़ाइलें वास्तविक मॉडल शामिल?

• model/*.parquet

मैं एक DB में उदाहरण के लिए कहीं और करने के लिए मॉडल बचा सकते हैं?

मैं किसी भी प्रत्यक्ष विधि के बारे में पता नहीं कर रहा हूँ, लेकिन आप एक डेटा फ्रेम के रूप में मॉडल लोड और एक डेटाबेस में यह बाद में स्टोर कर सकते हैं:

model_df = sqlContext.parquetFile("/path/to/data/") 
model_df.write.jdbc(...)