कई मनाए गए चर के लिए छिपे हुए मार्कोव मॉडल

Question

मैं एक समस्या के लिए एक छिपे हुए मार्कोव मॉडल (एचएमएम) का उपयोग करने की कोशिश कर रहा हूं जहां मेरे पास प्रत्येक समय बिंदु पर विभिन्न भिन्न चर (वाईटी) और एक छिपी चर (एक्सटी) है। स्पष्टता के लिए, मान लीजिए कि सभी मनाए गए चर (Yti) स्पष्ट हैं, जहां प्रत्येक Yti अलग-अलग जानकारी बताती है और इस तरह अलग-अलग कार्डिनिटी हो सकती हैं। नीचे दिए गए आंकड़े में एक उदाहरण उदाहरण दिया गया है, जहां एम = 3।

मेरा लक्ष्य संक्रमण, उत्सर्जन और एक HMM की पूर्व संभावनाओं को प्रशिक्षित करने, बौम-वेल्च कलन विधि का उपयोग, मेरे मनाया चर दृश्यों (Yti) से है। मान लीजिए, एक्सटी शुरू में 2 छिपे हुए राज्य होंगे।

मैं (प्रसिद्ध Rabiner कागज सहित) में कुछ ट्यूटोरियल पढ़ा है और कुछ HMM सॉफ्टवेयर संकुल, अर्थात् 'MatLab में HMM उपकरण बॉक्स' और 'अजगर में hmmpytk पैकेज' के कोड के माध्यम से चला गया। कुल मिलाकर, मैंने एक व्यापक वेब खोज और सभी संसाधनों को देखा- जो मुझे मिल सकता था- केवल मामले को कवर करता है, जहां प्रत्येक समय बिंदु पर केवल एक ही देखा गया चर (एम = 1) होता है। यह तेजी से मुझे लगता है कि एचएमएम कई मनाए गए चर के साथ स्थितियों के लिए उपयुक्त नहीं है।

• क्या एचएमएम के रूप में चित्र में चित्रित समस्या का मॉडल करना संभव है?
• यदि यह है, तो बहु-परिवर्तनीय अवलोकन (उत्सर्जन) संभावनाओं के आधार पर एचएमएम पैरामीटर को प्रशिक्षित करने के लिए बाम-वेल्च एल्गोरिदम को कैसे संशोधित किया जा सकता है?
• यदि नहीं, तो क्या आप ऐसी पद्धति के बारे में जानते हैं जो आंकड़े में चित्रित स्थिति के लिए अधिक उपयुक्त है?

धन्यवाद।

संपादित करें: इस paper में, स्थिति आंकड़ा में दिखाया गया एक गतिशील अनुभवहीन Bayes है, जो प्रशिक्षण और आकलन algorithms- के मामले -इन रूप में वर्णित है के लिए बौम-वेल्च और Viterbi एल्गोरिदम के एक मामूली विस्तार की आवश्यकता है एक एकल चर एचएमएम।

Answer 1

ऐसा करने का सबसे आसान तरीका है, और मॉडल जेनरेटिव बना हुआ है, y12 को x_is को सशर्त रूप से स्वतंत्र बनाना है। इससे मामूली अनुमानक और अपेक्षाकृत कुछ पैरामीटर होते हैं, लेकिन कुछ मामलों में यह काफी प्रतिबंधित धारणा है (यह मूल रूप से बेवकूफ बेयस वर्गीकृत का एचएमएम रूप है)।

संपादित करें: इसका क्या अर्थ है। प्रत्येक टाइमस्टेप के लिए, आपके पास एक बहुविकल्पीय अवलोकन y_i = {y_i1...y_in} है। आप सशर्त स्वतंत्र x_i दिया जा रहा है के रूप में y_ij का इलाज, कि इतने:

p(y_i|x_i) = \prod_j p(y_ij | x_i) 

आप तो प्रभावी ढंग से की छिपा चर x प्रत्येक संभव मूल्य के लिए एक अनुभवहीन Bayes वर्गीकारक सीख रहे हैं। (सशर्त रूप से स्वतंत्र यहां महत्वपूर्ण है: बिना शर्त वाईएस के वितरण में निर्भरताएं हैं)। यह एचएमएम के लिए मानक ईएम के साथ सीखा जा सकता है।

तुम भी, के रूप में एक टिप्पणीकार ने कहा, y_ijs के संयोजन एक भी अवलोकन के रूप में इलाज कर सकता है, लेकिन अगर जे चर के किसी भी आयामी स्वरूप तुच्छ से परे है इस मापदंडों के एक बहुत को बढ़ावा मिलेगा, और आप 'और अधिक प्रशिक्षण डेटा की आवश्यकता होगी।

क्या आपको विशेष रूप से जेनरेटिव होने के लिए मॉडल की आवश्यकता है? यदि आप केवल x_is में अनुमान लगाने की तलाश में हैं, तो आप शायद conditional random field के साथ बेहतर सेवा प्रदान करेंगे, जो इसके फीचर फ़ंक्शंस के माध्यम से आजादी की एक ही प्रतिबंधक मान्यताओं के बिना कहीं अधिक जटिल अवलोकन कर सकता है।

Answer 2

मैंने पाया है कि यह एक गतिशील अनुभवहीन Bayes वर्गीकारक (डी एन बी) है, जो एक साधारण (एकल चर) के एक मामूली विस्तार है के रूप में सिस्टम मॉडलिंग द्वारा प्राप्त किया जा सकता HMM कि के रूप में बहु अवलोकन परिदृश्यों के लिए पूरा कर सकता है आंकड़े में दिखाया गया है।

सावधानी की सलाह दी जाती है कि डीएनबी में अभी भी एक छिपी हुई स्थिति है और इसलिए इसे मूल बेवकूफ बेयस वर्गीकृत के प्रत्यक्ष अनुक्रमिक विस्तार के रूप में नहीं माना जाना चाहिए। एल्गोरिदम के नाम में 'बेवकूफ' इस तथ्य से निकलता है कि छुपे हुए राज्य चर के बाद सभी मनाए गए चर एक-दूसरे से स्वतंत्र होते हैं।

एचएमएम की तरह, इस मॉडल के पैरामीटर अनुमान बाम वेल्च (या ईएम, जिसे आप इसे नाम देना पसंद करते हैं) एल्गोरिदम के माध्यम से हासिल किए जा सकते हैं। चूंकि प्रत्येक समय चरण में उत्सर्जन वितरण अब प्रत्येक मनाए गए परिवर्तनीय वाईटी के पी (वाईटी | एक्सटी) का उत्पाद है, आगे, पिछड़े और संयुक्त परिवर्तनीय समीकरणों को थोड़ा सा संशोधित करने की आवश्यकता है जैसा कि paper के एविल्स- Arriaga एट अल।

Answer 3

आप दो बार श्रृंखला का उपयोग कर टेंसर संरचना का उपयोग कर समस्या का मॉडल कर सकते हैं और फिर एचएमएम पैरामीटर की पहचान कर सकते हैं। "टेंसर के माध्यम से छिपी मार्कोव मॉडल पहचान योग्यता" इसके लिए एक अच्छा संदर्भ है।

मैटलैब टेंसर टूलबॉक्स प्रदान करता है।

FYI करें, मैं एक संबंधित समस्या पर काम कर रहा हूँ ताकि मुझे ईमेल करने के लिए स्वतंत्र है, तो आप एक अधिक निजी ढंग

Answer 4

आप छिपा अर्द्ध मार्कोव मॉडल जो हम्म का एक विस्तार है की कोशिश कर सकते में चर्चा करना चाहता हूँ लग रहा है। यह प्रत्येक राज्य को कई समयावधि के लिए स्थायी अनुमति देता है।

Answer 5

जो चीज आप खोज रहे हैं उसे स्ट्रक्चरर्ड पेसेप्ट्रॉन कहा जाता है। पृष्ठ 42 पर निम्नलिखित स्लिड पर नज़र डालें। http://www.cs.umd.edu/class/fall2015/cmsc723/slides/inclass_09.pdf