नामांकित इकाई पहचान

Question

में कंप्यूटिंग परिशुद्धता और याद रखें अब मैं नामांकित इकाई पहचान से परिणामों की रिपोर्ट करने जा रहा हूं। एक बात जो मुझे थोड़ा उलझन में मिलती है वह यह है कि परिशुद्धता और याद की मेरी समझ यह थी कि कोई भी सभी वास्तविक वर्गों, सच्चे नकारात्मक, झूठी सकारात्मक और सभी वर्गों पर झूठी नकारात्मकताओं को बताता है।

लेकिन यह अब असंभव प्रतीत होता है कि मैं इसके बारे में सोचता हूं क्योंकि प्रत्येक गलत वर्गीकरण एक झूठी सकारात्मक और एक झूठी नकारात्मक (जैसे एक टोकन जिसे "ए" के रूप में लेबल किया जाना चाहिए था, लेकिन "बी" के रूप में लेबल किया गया था, "ए" के लिए झूठा नकारात्मक और "बी" के लिए झूठी सकारात्मक)। इस प्रकार सभी वर्गों पर झूठी सकारात्मक और झूठी नकारात्मकता की संख्या वही होगी जिसका अर्थ है कि परिशुद्धता (हमेशा!) याद करने के बराबर होती है। यह बस सच नहीं हो सकता है इसलिए मेरे तर्क में एक त्रुटि है और मुझे आश्चर्य है कि यह कहां है। यह निश्चित रूप से कुछ स्पष्ट और सीधा-आगे है लेकिन यह अभी मुझे बच निकला है।

Answer 1

जिस तरह से परिशुद्धता और याद आम तौर पर गणना की जाती है (यही वह है जो मैं अपने कागजात में उपयोग करता हूं) एक दूसरे के खिलाफ इकाइयों को मापना है। जमीनी सच्चाई मान निम्नलिखित (किसी भी differentiaton बिना के रूप में संस्थाओं की किस प्रकार वे कर रहे हैं करने के लिए) है

[Microsoft Corp.] CEO [Steve Ballmer] announced the release of [Windows 7] today

यह 3 इकाइयां हैं।

मान लें कि आपकी वास्तविक निकासी CEO और today, Windows 7 के लिए एक झूठी नकारात्मक और Steve

के लिए सबस्ट्रिंग मिलान के लिए निम्नलिखित

[Microsoft Corp.] [CEO] [Steve] Ballmer announced the release of Windows 7 [today]

आप Microsoft Corp के लिए सटीक मिलान है, झूठे सकारात्मक है हम पहले सटीक मिलान मानदंडों द्वारा परिशुद्धता की गणना करते हैं और याद करते हैं। उदाहरण के लिए, क्या उन्हें एक सटीक मैच होना चाहिए? क्या यह एक मैच है यदि वे बिल्कुल ओवरलैप करते हैं? क्या इकाई प्रकार मायने रखते हैं? आम तौर पर हम इन मानदंडों में से कई के लिए परिशुद्धता प्रदान करते हैं और याद करते हैं।

सटीक मिलान: सच सकारात्मक = 1 (Microsoft Corp., केवल सटीक मिलान), झूठी सकारात्मक = 3 (CEO, today, और Steve, जो सटीक मेल नहीं है), मिथ्या नकारात्मक = 2 ​​(Steve Ballmer और Windows 7)

Precision = True Positives/(True Positives + False Positives) = 1/(1+3) = 0.25 
Recall = True Positives/(True Positives + False Negatives) = 1/(1+2) = 0.33 

कोई ओवरलैप ठीक: सच सकारात्मक = 2 ​​(Microsoft Corp., और Steve जो Steve Ballmer overlaps), झूठी सकारात्मक = 2 ​​(CEO, और today), मिथ्या नकारात्मक = 1 (Windows 7)

Precision = True Positives/(True Positives + False Positives) = 2/(2+2) = 0.55 
Recall = True Positives/(True Positives + False Negatives) = 2/(2+1) = 0.66 

पाठक तो है कि "वास्तविक प्रदर्शन" अनुमान लगाने के लिए (सटीक छोड़ दिया और याद करते हैं कि एक निष्पक्ष मानव चेकर जब मानव उपयोग करने की अनुमति देना होगा है यह निर्णय लेने का निर्णय कि कौन से ओवरलैप विसंगतियां महत्वपूर्ण हैं, और जो नहीं हैं) दोनों के बीच कहीं है।

यह भी अक्सर एफ 1 उपाय है, जो सटीक और याद का हरात्मक माध्य है रिपोर्ट करने के लिए उपयोगी है, और जो आप याद करते हैं के खिलाफ सटीक बंद व्यापार करने के लिए है जब "प्रदर्शन" के कुछ विचार देता है।

Answer 2

इस प्रश्न का कोई आसान जवाब नहीं है। त्रुटियों की गिनती करने के कई अलग-अलग तरीके हैं। एमयूसी प्रतियोगिताओं में से एक का इस्तेमाल किया जाता है, अन्य लोगों ने दूसरों का उपयोग किया है।

हालांकि, अपने तत्काल भ्रम के साथ मदद करने के लिए:

आप, टैग का एक सेट है कोई? कुछ नहीं, व्यक्ति, एनिमल, वेजिटेबल?

यदि टोकन व्यक्ति होना चाहिए, और आप इसे टैग नहीं करते हैं, तो यह किसी के लिए झूठा सकारात्मक नहीं है और व्यक्ति के लिए झूठा नकारात्मक है। यदि टोकन कोई नहीं होना चाहिए और आप इसे PERSON टैग करते हैं, तो यह दूसरी तरफ है।

तो आपको प्रत्येक इकाई प्रकार के लिए स्कोर प्राप्त होता है।

आप उन स्कोर को भी जोड़ सकते हैं।

प्रेसिजन = टी.पी./(टी.पी. + एफपी) = आप क्या मिला सच्चाई जमीन था किस हिस्से:

Answer 3

बस स्पष्ट होना, इन परिभाषाओं कर रहे हैं?

रिकॉल = टीपी/(टीपी + एफएन) = ग्राउंड सच्चाई का कौन सा हिस्सा आपने ठीक किया?

अनिवार्य रूप से हमेशा बराबर नहीं होगा, क्योंकि झूठी नकारात्मक संख्याओं की संख्या झूठी सकारात्मक संख्याओं के बराबर नहीं होगी।

यदि मैं आपकी समस्या को सही समझता हूं, तो आप प्रत्येक टोकन को दो से अधिक संभावित लेबलों में से एक को असाइन कर रहे हैं। सटीकता के लिए और समझने के लिए याद करने के लिए, आपको binary classifier होना चाहिए। तो आप परिशुद्धता का उपयोग कर सकते हैं और याद कर सकते हैं कि क्या आपने क्लासिफायर को वाक्यांश दिया है कि एक टोकन समूह "ए" में है या नहीं, और फिर प्रत्येक समूह के लिए दोहराएं। इस मामले में एक मिस्ड वर्गीकरण एक समूह के लिए झूठी नकारात्मक के रूप में दो बार गिना जाएगा और दूसरे के लिए झूठा सकारात्मक होगा।

यदि आप इस तरह वर्गीकरण कर रहे हैं जहां यह द्विआधारी नहीं है (एक समूह को प्रत्येक टोकन असाइन करना) तो यह टोकन के जोड़े को देखने के बजाय उपयोगी हो सकता है। अपनी समस्या का समाधान करें "क्या समान वर्गीकरण समूह में टोकन एक्स और वाई हैं?"। यह आपको सटीक गणना करने और नोड्स के सभी जोड़े पर याद करने की अनुमति देता है। यह उचित नहीं है यदि आपके वर्गीकरण समूह लेबल किए गए हैं या अर्थों से जुड़े हैं। उदाहरण के लिए यदि आपके वर्गीकरण समूह "फल" और "सब्जियां" हैं, और आप "सेब" और "संतरे" दोनों को "सब्जियां" के रूप में वर्गीकृत करते हैं तो यह एल्गोरिदम गलत समूह के रूप में असाइन किए जाने के बावजूद इसे एक वास्तविक सकारात्मक के रूप में स्कोर करेगा। लेकिन यदि आपके समूह अक्षम नहीं हैं, उदाहरण के लिए "ए" और "बी", तो यदि सेब और संतरे दोनों को "ए" के रूप में वर्गीकृत किया गया था, तो बाद में आप कह सकते हैं कि "ए" "फल" से मेल खाता है।

Answer 4

CoNLL-2003 NER task में, मूल्यांकन 'Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition' पेपर में वर्णित अनुसार टोकन नहीं, सही ढंग से चिह्नित इकाइयों पर आधारित था। यदि सिस्टम सही प्रकार की इकाई को दस्तावेज़ में सही प्रारंभ और समाप्ति बिंदु के साथ पहचानता है तो एक इकाई सही ढंग से चिह्नित होती है। मैं मूल्यांकन में इस दृष्टिकोण को प्राथमिकता देता हूं क्योंकि यह वास्तविक कार्य पर प्रदर्शन के एक उपाय के करीब है; एनईआर प्रणाली का एक उपयोगकर्ता संस्थाओं के बारे में परवाह करता है, न कि व्यक्तिगत टोकन।

हालांकि, आपके द्वारा वर्णित समस्या अभी भी मौजूद है। यदि आप टाइप ओएनजी के साथ ओआरजी प्रकार की इकाई को चिह्नित करते हैं तो आपको LOC के लिए झूठी सकारात्मक और ORG के लिए झूठी नकारात्मक लगती है। इस blog post में समस्या पर एक दिलचस्प चर्चा है।

Answer 5

जैसा कि पहले बताया गया है, एनईआर प्रदर्शन को मापने के विभिन्न तरीके हैं।टेक्स्ट में स्थिति के मामले में और उनकी कक्षा (व्यक्ति, स्थान, संगठन इत्यादि) के संदर्भ में अलग-अलग इकाइयों का पता लगाने के लिए अलग-अलग मूल्यांकन करना संभव है। या एक ही उपाय में दोनों पहलुओं को गठबंधन करने के लिए।

आपको निम्नलिखित थीसिस में एक अच्छी समीक्षा मिलेगी: D. Nadeau, Semi-Supervised Named Entity Recognition: Learning to Recognize 100 Entity Types with Little Supervision (2007)। खंड 2.6 पर एक नज़र डालें। एनईआर का मूल्यांकन।