5

परोसने वाले टेंसफोर्लो के साथ धीमी अनुमान समय है, मैं model zoo में जारी किए गए मॉडल के लिए Google द्वारा रिपोर्ट किए गए अनुमान समय से मेल नहीं खाता हूं। विशेष रूप से मैं उनके faster_rcnn_resnet101_coco मॉडल को आजमा रहा हूं जहां एक अनुमानित अनुमान समय 106ms टाइटन एक्स जीपीयू पर है।टेन्सफोर्लो ऑब्जेक्ट डिटेक्शन एपीआई में

मेरी सेवा प्रणाली Google द्वारा जारी Dockerfile से निर्मित कंटेनर में चल रहे टीएफ 1.4 का उपयोग कर रही है। मेरे ग्राहक को Google द्वारा जारी किए गए inception client के बाद मॉडलिंग किया गया है।

मैं उबंटू 14.04, टीएफ 1.4 पर 1 टाइटन एक्स के साथ चल रहा हूं। मेरा कुल अनुमान समय Google ~ 330ms द्वारा रिपोर्ट की तुलना में 3x खराब है। tensor proto बनाना ~ 150ms और Predict ले रहा है ~ 180ms ले रहा है। मेरा saved_model.pb मॉडल चिड़ियाघर से डाउनलोड की गई टैर फ़ाइल से सीधे है। क्या मैं कुछ छोड़ रहा हूं? अनुमान समय को कम करने के लिए मैं क्या कदम उठा सकता हूं?

उत्तर

2

गैर-अधिकतम दमन बाधा हो सकती है: https://github.com/tensorflow/models/issues/2710

छवि का आकार 600x600 है?

+0

मुझे नहीं लगता कि यह मुद्दा है, मैं टीएफ 1.4 का उपयोग कर रहा हूं जो निर्यातित मॉडल समान संस्करण है। मॉडल चिड़ियाघर से: 'हमारे जमे हुए अनुमान ग्राफ को Tensorflow के v1.4.0 रिलीज़ संस्करण का उपयोग करके उत्पन्न किया जाता है। –

0

मैं उपयोगकर्ता infer_detections.py स्क्रिप्ट एक टाइटन XP के साथ इसी तरह के मॉडल भाग गया, फिर भी, मैं और पहले और बाद में tf_example = detection_inference.infer_detections_and_add_to_example ( serialized_example_tensor, detected_boxes_tensor, detected_scores_tensor दिनांक का उपयोग करके फॉरवर्ड पास समय [मूल रूप से लॉग इन , found_labels_tensor, FLAGS.discard_image_pixels) मैंने 300 से 100 तक FasterRCN के पहले चरण में जेनरेट किए गए प्रस्तावों में से # को कम कर दिया है, और दूसरे चरण में अलग-अलग हिस्सों को 100 तक घटा दिया है। मुझे 80 से 140 एमएस की सीमा में संख्या मिली है, और मुझे लगता है कि 600x600 छवि इस सेट-अप में लगभग 106 या थोड़ा कम ले जाएगी (टाइटन एक्सपी के कारण, और मॉडल की जटिलता कम हो गई है)। हो सकता है कि आप अपने हार्डवेयर पर उपर्युक्त प्रक्रिया दोहरा सकते हैं, इस तरह यदि संख्या इस मामले के लिए ~ 106 एमएस भी है, तो हम डॉकरफ़ाइल और क्लाइंट के उपयोग में अंतर को विशेषता दे सकते हैं। यदि संख्याएं अभी भी ऊंची हैं, तो शायद यह हार्डवेयर है।

मददगार होगा अगर टेन्सफोर्लो ऑब्जेक्ट डिटेक्शन टीम का कोई व्यक्ति model zoo में संख्याएं उत्पन्न करने के लिए उपयोग किए गए सेट अप पर टिप्पणी कर सकता है।

0

@ विक्रम गुप्ता ने आपने अपना जीपीयू उपयोग जांच लिया था? क्या यह कहीं 80-100% के करीब आता है? मुझे बहुत कम GPU उपयोग एपीआई और "मॉडल चिड़ियाघर" के मॉडल के साथ एक वीडियो स्ट्रीम के ऑब्जेक्ट का पता लगाने का अनुभव है।

3

मैं द्वारा

  1. संकलक झंडे के अनुकूलन दो समस्याओं को हल करने में सक्षम था। Bazel-bin --config=opt --copt=-msse4.1 --copt=-msse4.2 --copt=-mavx --copt=-mavx2 --copt=-mfma

  2. प्रत्येक अनुमान के लिए tf.contrib आयात नहीं कर रहा है। Google द्वारा प्रदान किए गए अपवाद_क्लिएंट नमूने में, these lines प्रत्येक अग्रेषित पास के लिए tf.contrib पुनः आयात करें।

संबंधित मुद्दे