स्पार्क MLlib - अंतर्निहित प्रतिक्रिया के साथ सहयोगात्मक छानने प्रशिक्षण - अजीब चेतावनी

Question

मैं उपयोगकर्ता आदेश पर Collaborative filtering मॉडल बनाने के लिए कोशिश कर रहा हूँ और ALS.train() के साथ कुछ उपयोगी परिणाम प्राप्त करने, लेकिन मैं ALS.trianImplicit() की कोशिश करना चाहते हैं, लेकिन trianImplicit() सिर्फ एक ही डाटासेट पर शून्य अनुमान लगा रहा है जो ASL.train() मुझे सभ्य भविष्यवाणियां मिल रही थीं।

जब ALS.trianImplicit() का उपयोग कर मॉडल मैं निम्नलिखित चेतावनी हो रही थी प्रशिक्षित करने के लिए:

15/09/01 15:39:29 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS 
15/09/01 15:39:29 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS 

इस संकेत मिलता है कि यह एक त्रुटि थी और नहीं चेतावनी और मॉडल सिर्फ इसलिए कि पुस्तकालयों लापता का कुछ भी प्रशिक्षित नहीं कर सकता है?

Answer 1

जैसा कि @eliasah ने इस चेतावनियों को एक महत्वपूर्ण नहीं बताया है, लेकिन प्रदर्शन धीमा कर सकता है। मूल बीएलएएस का उपयोग करने के परिणामस्वरूप एक बड़ा प्रदर्शन सुधार हो सकता है। ईसी 2 पर स्पार्क + बीएलएएस सेट करने के तरीके पर https://github.com/amplab/ml-matrix/blob/master/EC2.md पर कुछ निर्देश दिए गए हैं। http://www.openblas.net/ का उपयोग कर तो आप अपने कार्यकर्ताओं पर कि स्थापित करने की कोशिश कर सकते हैं से

libblas3gf 
libblas-doc 
libblas-dev 

liblapack3gf 
liblapack-doc 
liblapack-dev 

हालांकि, कुछ लोगों की सूचना दी है बेहतर प्रदर्शन:

अपने क्लस्टर उबंटू चल रहा है, तो आप निम्न संकुल स्थापित कर सकते हैं। आपको अपने आवेदन के साथ com.github.fommil.netlib भी शामिल करने की आवश्यकता होगी (स्पार्क वर्तमान में संस्करण 1.1.2 का उपयोग करता है)।