फ्लास्क का उपयोग कर आरईएसटी एपीआई के साथ प्रशिक्षित टेन्सफोर्लो मॉडल की सेवा करें?

Question

मुझे एक प्रशिक्षित टेन्सफोर्लो मॉडल मिला है और मैं आरईएसटी एपीआई के साथ भविष्यवाणी विधि की सेवा करना चाहता हूं। मैं क्या सोच सकता हूं कि एक साधारण आरईएसटी एपीआई बनाने के लिए फ्लास्क का उपयोग करना है जो JSON इनपुट के रूप में प्राप्त करता है और फिर टेन्सफोर्लो में पूर्वानुमान विधि को कॉल करता है और उसके बाद अनुमानित परिणाम क्लाइंट पक्ष में वापस कर देता है।

मैं जानना चाहता हूं कि इस तरह विशेष रूप से उत्पादन वातावरण में ऐसा करने के लिए कोई चिंता है?

बहुत धन्यवाद!

Answer 1

मेरे दिमाग में आने वाली पहली चिंता प्रदर्शन है।

टेंसरफ्लो टीम ने सर्वर/क्लाइंट उपयोग को काम किया है। आप tensorflow serving पर देखना चाहते हैं। डिफ़ॉल्ट रूप से, यह संचार प्रोटोकॉल के लिए जीआरपीसी का उपयोग करता है।

Answer 2

हम कार्य पर फ्लास्क + टेंसरफ्लो सेवा का उपयोग करते हैं। हमारा सेटअप मॉडल की सेवा करने का सबसे इष्टतम तरीका नहीं हो सकता है, लेकिन यह काम पूरा हो जाता है और यह अब तक हमारे लिए ठीक काम करता है।

1. tfserving हमेशा के लिए ले जाता है क्योंकि निर्माण करने के लिए, हम एक डोकर छवि का निर्माण (नहीं GPU समर्थन या कुछ भी, लेकिन यह सिर्फ एक मॉडल की सेवा के लिए काम करता है और यह तेजी से और की सेवा की तुलना में बेहतर है:

   सेटअप निम्नलिखित है यह सीधे एक विशाल पायथन/फ्लास्क मोनोलाइट के भीतर से)। मॉडल सर्वर छवि यहां पाई जा सकती है: https://hub.docker.com/r/epigramai/model-server/

2. फिर फ्लास्क का उपयोग एपीआई सेट करने के लिए किया जाता है। मॉडल सर्वर को अनुरोध भेजने के लिए हमें एक जीआरपी भविष्यवाणी क्लाइंट की आवश्यकता है, इसलिए हमने पाइथन में एक बनाया है जिसे हम सीधे फ्लास्क एपीआई, https://github.com/epigramai/tfserving_predict_client/ में आयात कर सकते हैं।

अच्छी बात यह है कि मॉडल फ्लास्क एपीआई एप्लिकेशन द्वारा परोसा जाता है। डॉकर छवि मॉडल सर्वर को आसानी से डॉकर कंटेनर के बजाय मशीन हार्डवेयर के लिए संकलित GPU पर चल रहे मॉडल सर्वर के साथ प्रतिस्थापित किया जा सकता है।