मैं अपने टेन्सफोर्लो मॉडल चलाने के लिए एनवीआईडीआईए टेंसोरआरटी का उपयोग करना चाहता हूं। Currenly, TensorRT कैफे prototxt नेटवर्क descriptor फ़ाइलों का समर्थन करता है।एनवीआईडीआईए टेंसोरआरटी अनुमान इंजन के साथ टेंसफोर्लो चलाएं
मैं टेन्सफोर्लो मॉडल को कैफे मॉडल में बदलने के लिए स्रोत कोड नहीं ढूंढ पाया। क्या कोई कामकाज है?
टेंसरआरटी 3.0 इसके यूएफएफ (सार्वभौमिक ढांचे प्रारूप) के माध्यम से टेंसरफ्लो ग्राफ के आयात/रूपांतरण का समर्थन करता है। कुछ परत कार्यान्वयन गायब हैं और आईपीएलजिन इंटरफ़ेस के माध्यम से कस्टम कार्यान्वयन की आवश्यकता होगी।
पिछले संस्करणों में टेंसरफ्लो मॉडल/चेकपॉइंट्स के देशी आयात का समर्थन नहीं किया गया था।
आप जो भी कर सकते हैं वह परतों/नेटवर्क विवरण को अपने मध्यवर्ती प्रारूप (जैसे टेक्स्ट फ़ाइल) में निर्यात करना है और फिर अनुमान के लिए ग्राफ बनाने के लिए TensorRT C++ API का उपयोग करना है। आपको अलग-अलग संकल्प भार/पूर्वाग्रह निर्यात करना होगा। वजन प्रारूप पर ध्यान देना सुनिश्चित करें - टेंसरफ्लो एनएचडब्ल्यूसी का उपयोग करता है जबकि टेन्सरआरटी एनसीएचडब्ल्यू का उपयोग करता है। और वजन के लिए, टीएफ आरएससीके ([filter_height, filter_width, input_depth, output_depth] का उपयोग करता है) और TensorRT KCRS का उपयोग करता है।
टेन्सर प्रारूपों की एक विस्तारित चर्चा के लिए इस पत्र देखें: https://arxiv.org/abs/1410.0759
इसके अलावा इस लिंक उपयोगी प्रासंगिक जानकारी है: https://www.tensorflow.org/versions/master/extend/tool_developers/
कोई समाधान वर्तमान की जरूरत है के रूप में नए TensorRT 3 TensorFlow के लिए समर्थन जोड़ा।