2016-11-10 12 views
11

मैं एमएल आधारित अनुप्रयोगों के उत्पादन के लिए उपकरण का मूल्यांकन कर रहा हूं और हमारे विकल्पों में से एक स्पार्क एमएलआईबीबी है, लेकिन मेरे पास प्रशिक्षित होने के बाद मॉडल की सेवा करने के बारे में कुछ सवाल हैं?स्पार्क एमएलआईबी मॉडल कैसे पेश करें?

Azure एमएल में उदाहरण के लिए, एक बार प्रशिक्षित, मॉडल एक वेब सेवा है जो किसी भी आवेदन से सेवन किया जा सकता के रूप में सामने आ रहा है, और यह अमेज़न एमएल के साथ एक समान मामला है।

आप कैसे सेवा/अपाचे स्पार्क में एमएल मॉडल को तैनात करते हैं?

उत्तर

11

एक ओर से, स्पार्क के साथ निर्मित एक मशीन लर्निंग मॉडल को पारंपरिक तरीके से एज़ूर एमएल या अमेज़ॅन एमएल में सेवा के तरीके से नहीं परोसा जा सकता है।

Databricks का उपयोग कर इसे नोटबुक है, लेकिन मैं वास्तव में अभी तक कि प्रयास नहीं किया है मॉडल को तैनात करने में सक्षम होने का दावा। तो लागू करने भविष्यवाणी एक आवेदन के अंदर मक्खी पर

  • प्रशिक्षण:

    दूसरी ओर, आप तीन तरीकों में एक मॉडल का उपयोग कर सकते हैं। यह स्पार्क एप्लिकेशन या नोटबुक में किया जा सकता है।

  • मॉडल को प्रशिक्षित करें और इसे सहेजें यदि यह MLWriter लागू करता है तो किसी एप्लिकेशन या नोटबुक में लोड करें और इसे अपने डेटा के विरुद्ध चलाएं।
  • ट्रेन jpmml-spark का उपयोग कर PMML प्रारूप करने के लिए स्पार्क और यह निर्यात के साथ एक मॉडल। पीएमएमएल एक ही भाषा बोलने के लिए विभिन्न सांख्यिकीय और डेटा खनन उपकरण की अनुमति देता है। इस तरह, कस्टम कोडिंग की आवश्यकता के बिना उपकरण और अनुप्रयोगों के बीच एक अनुमानित समाधान आसानी से स्थानांतरित किया जा सकता है। उदाहरण के लिए स्पार्क एमएल से आर

ये तीन संभावित तरीके हैं।

बेशक, आप एक आर्किटेक्चर के बारे में सोच सकते हैं जिसमें आपके पास रीस्टफुल सेवा है जिसके पीछे आप ट्रेन और तैनाती के लिए स्पार्क-जॉब्सर्वर का उपयोग कर निर्माण कर सकते हैं लेकिन कुछ विकास की जरूरत है।यह आउट ऑफ़ द बॉक्स समाधान नहीं है।

आप मॉडल को प्रशिक्षित करने, तैनात करने और सेवा करने के लिए अपना पूरा लैम्ब्डा आर्किटेक्चर बनाने के लिए ओरीक्स 2 जैसी परियोजनाओं का भी उपयोग कर सकते हैं।

दुर्भाग्यवश, ऊपर उल्लिखित समाधान में से प्रत्येक का वर्णन करना काफी व्यापक है और एसओ के दायरे में फिट नहीं है।

+0

मैं स्पार्क-जॉब्सर्वर को मौका दूंगा। आप एक मॉडल (एक पूर्ण स्पार्क पाइपलाइन भी) को आसानी से और जल्दी से एमएल - वर्गीकरण या प्रश्नों जैसे प्रासंगिक प्रश्नों को कैश कर सकते हैं। यह आपको समेकित तालिकाओं को कैश करने का मौका भी देता है और किसी अन्य एप्लिकेशन में विज़ुअलाइज़ेशन या आगे की प्रोसेसिंग के लिए इस डेटा या उसके हिस्सों वाले जेसन को तुरंत वापस लौटाता है। –

4

आप दो अलग-अलग चीजों की तुलना कर रहे हैं। अपाचे स्पार्क एक गणना इंजन है, जबकि आपके द्वारा वर्णित अमेज़ॅन और माइक्रोसॉफ्ट समाधान सेवाएं प्रदान कर रहे हैं। इन सेवाओं के साथ दृश्य के पीछे एमएलआईबीबी के साथ स्पार्क भी हो सकता है। वे आपको एक वेब सेवा बनाने में परेशानी से बचाते हैं, लेकिन आप अतिरिक्त भुगतान करते हैं।

कंपनियों की संख्या, डोमिनोज़ डाटा लैब, क्लाउडेरा या आईबीएम की पेशकश उत्पादों की तरह है कि आप अपने खुद के स्पार्क क्लस्टर पर तैनात और आसानी से अपने मॉडलों के आसपास सेवा का निर्माण (लचीलापन के विभिन्न डिग्री के साथ) कर सकते हैं।

स्वाभाविक रूप से आप विभिन्न खुले स्रोत उपकरण के साथ एक सेवा अपने आप का निर्माण। कौन सा विशेष रूप से? यह सब इस बात पर निर्भर करता है कि आप क्या कर रहे हैं। मॉडल को मॉडल के साथ कैसे बातचीत करनी चाहिए? क्या कुछ प्रकार का यूआई होना चाहिए या एक आरईएसटी एपीई जेस्ट होना चाहिए? क्या आपको मॉडल या मॉडल पर कुछ पैरामीटर बदलने की ज़रूरत है? क्या नौकरियां बैच या रीयल-टाइम प्रकृति के अधिक हैं? आप स्वाभाविक रूप से सभी में एक समाधान बना सकते हैं, लेकिन यह एक बड़ा प्रयास होगा।

मेरा व्यक्तिगत सिफारिश अमेज़न, गूगल, माइक्रोसॉफ्ट या जो कुछ भी से उपलब्ध सेवाओं में से एक का,, लाभ लेने के लिए है, तो आप कर सकते हैं होगा। ऑन-प्रिमाइसेस परिनियोजन की आवश्यकता है? डोमिनोज़ डेटा लैब की जांच करें, उनका उत्पाद परिपक्व है और मॉडलों के साथ आसान काम करने की अनुमति देता है (तैनाती तक इमारत से)। क्लौडेरा क्लस्टर कंप्यूटिंग (स्पार्क समेत) पर अधिक केंद्रित है, लेकिन कुछ परिपक्व होने से पहले इसमें कुछ समय लगेगा।

[संपादित करें] मैं Apache PredictionIO, ओपन सोर्स मशीन लर्निंग सर्वर - बहुत सारी संभावनाओं के साथ अद्भुत परियोजना पर एक नज़र डालने की सिफारिश करता हूं।

संबंधित मुद्दे