ऑब्जेक्ट डिटेक्शन और कंप्यूटर दृष्टि में एमएपी मीट्रिक

Question

कंप्यूटर दृष्टि और ऑब्जेक्ट डिटेक्शन में, सामान्य मूल्यांकन विधि एमएपी है। यह क्या है और इसकी गणना कैसे की जाती है?

Answer 1

उद्धरण ऊपर से कर रहे हैं Zisserman paper - 4.2 Evaluation of Results (Page 11) उल्लेख किया:

पहले एक "ओवरलैप कसौटी" के रूप में परिभाषित किया गया है एक चौराहे-ओवर-संघ 0.5 से अधिक। (उदाहरण के लिए यदि एक अनुमानित बॉक्स ग्राउंड-सच्चाई बॉक्स के संबंध में इस मानदंड को पूरा करता है, तो इसे एक पहचान माना जाता है)। फिर एक मिलान जी.टी. बक्से और भविष्यवाणी बक्से इस "लालची" दृष्टिकोण का उपयोग कर के बीच किया जाता है:

detections उत्पादन एक विधि द्वारा जमीनी सच्चाई वस्तुओं क्रम में ओवरलैप कसौटी द्वारा रैंक संतोषजनक को सौंपा गया (घटते) आत्मविश्वास आउटपुट। छवि में एक ही ऑब्जेक्ट के एकाधिक डिटेक्शन को झूठी डिटेक्शन के रूप में माना जाता था। एक वस्तु 1 सही पता लगाने और 4 झूठी detections

के रूप में गिना के 5 detections इसलिए प्रत्येक भविष्यवाणी की बॉक्स या तो यह सच है-सकारात्मक या गलत सकारात्मक है। प्रत्येक ग्राउंड-सच्चाई बॉक्स या तो सही-सकारात्मक या गलत-नकारात्मक है। कोई ट्रू-नेगेटिव नहीं हैं।

फिर औसत परिशुद्धता सटीक-याद वक्र पर सटीक मानों का औसत करके गणना की जाती है जहां याद सीमा [0, 0.1, ..., 1] (उदा। 11 सटीक मानों का औसत) में होती है। अधिक सटीक होने के लिए, हम थोड़ा सही पीआर वक्र मानते हैं, जहां प्रत्येक वक्र बिंदु (पी, आर) के लिए, यदि एक अलग वक्र बिंदु (पी ', आर') है जैसे कि पी '> पी और आर'> = आर , हम उन बिंदुओं के अधिकतम पी 'के साथ पी को प्रतिस्थापित करते हैं।

मुझे अभी भी अस्पष्ट नहीं है कि उन जीटी बॉक्सों के साथ क्या किया जाता है जो कभी नहीं पता चला (भले ही आत्मविश्वास 0 है)। इसका मतलब है कि कुछ याद मूल्य हैं कि सटीक-याद वक्र कभी नहीं पहुंच पाएगा, और यह अपरिभाषित औसत सटीक गणना करता है।

संपादित करें:

लघु जवाब: क्षेत्र में, जहां याद नहीं पहुंचा जा सकता है में, सटीक करने के लिए ग्रहण करने के लिए चला जाता है 0.

एक तरीका यह समझाने की है कि जब विश्वास दृष्टिकोण के लिए सीमा 0, की एक अनंत संख्या भविष्यवाणी की गई सभी छवियों को बाध्य करने वाले बक्से बक्से। परिशुद्धता तब 0 पर जाती है (क्योंकि जीटी बक्से की केवल सीमित संख्या होती है) और जब तक हम 100% तक नहीं पहुंच जाते हैं तब तक याद इस फ्लैट वक्र पर बढ़ती रहती है।

Answer 2

एमएपी औसत औसत परिशुद्धता है।

इसका उपयोग सूचना पुनर्प्राप्ति (संदर्भ [1][2]) और मल्टी-क्लास वर्गीकरण (ऑब्जेक्ट डिटेक्शन) सेटिंग्स के क्षेत्र में अलग है।

ऑब्जेक्ट डिटेक्शन के लिए इसकी गणना करने के लिए, आप अपने मॉडल भविष्यवाणियों के आधार पर अपने डेटा में प्रत्येक कक्षा के लिए औसत परिशुद्धता की गणना करते हैं। औसत परिशुद्धता कक्षा के लिए परिशुद्धता-याद वक्र के तहत क्षेत्र से संबंधित है। फिर इन औसत व्यक्तिगत-वर्ग-परिशुद्धता का अर्थ लेना आपको औसत औसत प्रेसिजन देता है।

औसत प्रेसिजन गणना करने के लिए, को देखने के [3]

Answer 3

मुझे लगता है कि यहां महत्वपूर्ण हिस्सा यह लिंक कर रहा है कि ऑब्जेक्ट डिटेक्शन को मानक सूचना पुनर्प्राप्ति समस्याओं के समान माना जा सकता है जिसके लिए कम से कम एक excellent description of average precision मौजूद है।

कुछ ऑब्जेक्ट डिटेक्शन एल्गोरिदम का आउटपुट प्रस्तावित बाउंडिंग बक्से का एक सेट है, और प्रत्येक के लिए, एक आत्मविश्वास और वर्गीकरण स्कोर (प्रति वर्ग एक अंक)। आइए अब वर्गीकरण स्कोर को अनदेखा करें, और threshold binary classification पर इनपुट के रूप में आत्मविश्वास का उपयोग करें। सहजता से, औसत परिशुद्धता दहलीज/कट ऑफ मूल्य के लिए सभी विकल्पों पर एकत्रीकरण है। लेकिन रुकें; परिशुद्धता की गणना करने के लिए, हमें यह जानने की जरूरत है कि कोई बॉक्स सही है या नहीं!

यह वह जगह है जहां यह भ्रमित/मुश्किल हो जाता है; सामान्य जानकारी पुनर्प्राप्ति समस्याओं के विपरीत, हमारे पास वास्तव में वर्गीकरण का एक अतिरिक्त स्तर है। यही है, हम बक्से के बीच सटीक मिलान नहीं कर सकते हैं, इसलिए यदि वर्गीकरण बॉक्स सही है या नहीं तो हमें वर्गीकृत करने की आवश्यकता है। समाधान अनिवार्य रूप से बॉक्स आयामों पर हार्ड-कोडित वर्गीकरण करना है; हम जांचते हैं कि क्या यह किसी भी ग्राउंड सच्चाई को 'सही' माना जाने वाला पर्याप्त रूप से ओवरलैप करता है। इस भाग के लिए दहलीज सामान्य ज्ञान से चुना जाता है। जिस डेटासेट पर आप काम कर रहे हैं, वह निश्चित रूप से परिभाषित करेगा कि 'सही' बाध्यकारी बॉक्स के लिए यह सीमा क्या है। अधिकांश डेटासेट बस इसे 0.5 IoU पर सेट करते हैं और इसे छोड़ देते हैं (मैं कुछ मैन्युअल IoU गणना [वे कड़ी मेहनत नहीं कर रहे हैं] यह महसूस करने के लिए कि 0.5 वास्तव में कितना सख्त आईओयू है)।

अब हमने वास्तव में परिभाषित किया है कि इसका अर्थ क्या है 'सही', हम केवल उसी प्रक्रिया का उपयोग जानकारी पुनर्प्राप्ति के रूप में कर सकते हैं।

औसत औसत परिशुद्धता (एमएपी) खोजने के लिए, आप केवल उन बक्से से जुड़े वर्गीकरण स्कोर के आधार पर अपने प्रस्तावित बक्से को स्तरीकृत करते हैं, फिर वर्गों पर औसत परिशुद्धता (एपी) का औसत (माध्य लें)।

टीएलडीआर; यह निर्धारित करने के बीच भेद करें कि बाध्यकारी बॉक्स पूर्वानुमान 'सही' (वर्गीकरण का अतिरिक्त स्तर) है और यह मूल्यांकन कर रहा है कि बॉक्स विश्वास आपको 'सही' बाध्यकारी बॉक्स भविष्यवाणी (सूचना पुनर्प्राप्ति मामले के समान रूप से समान) और सामान्य विवरणों के बारे में सूचित करता है एमएपी समझ में आता है।

---

यह ध्यान देने योग्य है कि Area under the Precision/Recall curve is the same thing as average precision है, और हम अनिवार्य रूप से समलम्बाकार या अभिन्न का अनुमान लगाने के दाएँ हाथ के नियम के साथ इस क्षेत्र का अनुमान कर रहे हैं।

Answer 4

का पता लगाने के लिए, एक आम तरीका निर्धारित करने के लिए एक वस्तु प्रस्ताव था सही संघ (योण, आइयू) से अधिक चौराहे है। इस सेट A प्रस्तावित वस्तु पिक्सल के और सच्चे वस्तु पिक्सल B के सेट और गणना लेता है:

IoU(A, B) = \frac{A \cap B}{A \cup B} 

आमतौर पर, योण> 0.5 मतलब है कि यह काफी सफल रहा है, अन्यथा यह एक असफल रहा था।प्रत्येक वर्ग के लिए, एक

• सच सकारात्मक टी.पी. (ग) की गणना कर सकते हैं: एक प्रस्ताव वर्ग ग के लिए बनाया गया था और वहाँ वास्तव में वर्ग ग की एक वस्तु
• झूठी सकारात्मक एफपी (ग) था: एक प्रस्ताव किया गया था वर्ग ग के लिए बनाया है, लेकिन वहाँ वर्ग ग का कोई वस्तु है
• वर्ग ग के लिए औसत प्रेसिजन: \ frac {#TP (ग)} {# टी.पी. (ग) + #FP (ग)}

एमएपी (औसत औसत परिशुद्धता) तब है:

mAP = \frac{1}{|classes|}\sum_{c \in classes} \frac{\#TP(c)}{\#TP(c) + \#FP(c)} 

नोट: एक बेहतर प्रस्तावों चाहता है, एक योण 0.5 से एक उच्च मूल्य (1.0 जो अधिक उचित होगा तक) के लिए बढ़ जाता है। कोई इसे एमएपी @ पी के साथ इंगित कर सकता है, जहां पी \ इन (0, 1) आईओयू है।

mAP@[.5:.95] मतलब यह है कि नक्शे कई थ्रेसहोल्ड से अधिक गणना की जाती है और उसके बाद फिर औसतन किया जा रहा

संपादित करें: अधिक विस्तृत जानकारी के लिए देखें कोको Evaluation metrics