बहुभिन्नरूपी निर्णय ट्री शिक्षार्थी

Question

एक बहुत univariate निर्णय वृक्ष शिक्षार्थी कार्यान्वयन (C4.5 आदि) मौजूद हैं, लेकिन वास्तव में कोई मल्टीवेरिएट निर्णय वृक्ष शिक्षार्थी एल्गोरिदम पता है?

Answer 1

बेनेट और ब्लू का A Support Vector Machine Approach to Decision Trees वृक्ष में प्रत्येक निर्णय के लिए एम्बेडेड एसवीएम का उपयोग करके बहुविकल्पीय विभाजन करता है।

इसी प्रकार, Multicategory classification via discrete support vector machines (2009) में, ऑरसेनिगो और वेरसेलिस निर्णय पेड़ नोड्स में असतत समर्थन वेक्टर मशीनों (डीएसवीएम) के बहु श्रेणी के संस्करण को एम्बेड करते हैं।

Answer 2

निर्णय पेड़ के लिए कार्ट एल्गोरिदम एक बहुविकल्पीय में बनाया जा सकता है। कार्ट एक बाइनरी विभाजन एल्गोरिदम है जो सी 4.5 के विपरीत है जो अलग-अलग मूल्यों के लिए प्रति अद्वितीय मूल्य नोड बनाता है। वे एमएआरएस के लिए वही एल्गोरिदम का उपयोग करते हैं क्योंकि गुम मूल्य भी हैं।

एक बहुविकल्पीय पेड़ बनाने के लिए आप प्रत्येक नोड पर सबसे अच्छा विभाजन गणना करते हैं, लेकिन उन सभी विभाजनों को फेंकने की बजाय जो आप सबसे अच्छे नहीं थे (शायद सभी), तो डेटा के सभी गुणों का मूल्यांकन करें ऑर्डर द्वारा भारित उस नोड पर संभावित विभाजन प्रत्येक। तो पहला विभाजन (जो अधिकतम लाभ तक पहुंचता है) 1 पर भारित होता है। फिर अगले उच्चतम लाभ विभाजन को कुछ अंश < 1.0 द्वारा भारित किया जाता है, और इसी तरह। जहां वजन कम हो जाता है क्योंकि उस विभाजन के लाभ में कमी आती है। तब उस संख्या को बाएं नोड के भीतर नोड्स की समान गणना की तुलना में तुलना की जाती है यदि यह उस संख्या से ऊपर है तो छोड़ दिया जाता है। अन्यथा सही जाओ। यह बहुत मोटा वर्णन है, लेकिन यह निर्णय पेड़ों के लिए एक बहु-संस्करण विभाजन है।

Answer 3

हां, ओसी 1 जैसे कुछ हैं, लेकिन वे अनियमित विभाजन करने वाले लोगों की तुलना में कम आम हैं। बहुविकल्पीय विभाजन जोड़ना खोज स्थान को काफी हद तक फैलाता है। एक समझौता के रूप में, मैंने कुछ तार्किक शिक्षार्थियों को देखा है जो केवल रैखिक भेदभाव कार्यों की गणना करते हैं और उन्हें उम्मीदवार चर सूची में जोड़ते हैं।