का उपयोग करते समय एयूसी की गणना करना वौपाल वैबिट के भीतर एयूसी की गणना करने के लिए वैसे भी है?Vowpal Wabbit
वोपल वैबिट का उपयोग करने के कारणों में से एक कारण डेटा फ़ाइल का बड़ा आकार है। मैं वाउपल वैबिट के आउटपुट का उपयोग करते हुए वोवल वैबिट पर्यावरण के बाहर एयूसी की गणना कर सकता हूं लेकिन डेटा फ़ाइल बड़ी होने पर यह समस्याग्रस्त हो सकता है।
वर्तमान में, वीडब्ल्यू AUC की रिपोर्ट नहीं कर सकता है। इससे भी बदतर, यह सीधे एयूसी के लिए अनुकूलित नहीं कर सकता है। एयूसी के लिए अनुकूलन ऑनलाइन सीखने के साथ संगत नहीं है, लेकिन कुछ approximations of AUC suitable for optimizing हैं।
अपने प्रश्न के बारे में, आपको डिस्क पर कच्ची भविष्यवाणियों के साथ मध्यवर्ती फ़ाइल को स्टोर करने की आवश्यकता नहीं है। आप पाइप कर सकते हैं यह सीधे बाहरी मूल्यांकन उपकरण (इस मामले में perf) करने के लिए:
vw -d test.data -t -i model.vw -r /dev/stdout | perf -roc -files gold /dev/stdin
संपादित करें: जॉन लैंगफोर्ड confirmed कि एयूसी आम तौर पर झूठी सकारात्मक और झूठी नकारात्मक नुकसान के अनुपात बदलकर अनुकूलित किया जा सकता है। वीडब्ल्यू में, इसका मतलब सकारात्मक और नकारात्मक उदाहरणों के लिए एक अलग importance weight सेट करना है। आपको होल्ड आउट सेट (या क्रॉस सत्यापन, या एक-पास सीखने के लिए प्रगतिशील सत्यापन हानि) का उपयोग करके इष्टतम वजन को ट्यून करने की आवश्यकता है।