स्पार्क एमएलआईबीबी एलडीए, नए अदृश्य दस्तावेज के विषयों के वितरण का अनुमान कैसे लगाया जाए?

Question

मुझे स्पार्क एमएलआईबीआईबी का उपयोग करके एलडीए विषय मॉडलिंग लागू करने में दिलचस्पी है। मैंने here में कोड और स्पष्टीकरण की जांच की है, लेकिन मुझे एक नए अदृश्य दस्तावेज़ में विषय वितरण खोजने के लिए मॉडल का उपयोग करने का तरीका नहीं मिला।

Answer 1

स्पार्क 1.5 इस कार्यक्षमता के रूप में DistributedLDAModel के लिए लागू नहीं किया गया।

newDocuments: RDD[(Long, Vector)] = ... 
val topicDistributions = distLDA.toLocal.topicDistributions(newDocuments) 

: क्या आप क्या करने की जरूरत के लिए जा रहे एक LocalLDAModel करने के लिए अपने मॉडल को परिवर्तित toLocal पद्धति का उपयोग करके और फिर topicDistributions(documents: RDD[(Long, Vector]) विधि जहां documents नई (यानी बाहर के प्रशिक्षण) दस्तावेजों, कुछ इस तरह कर रहे हैं कहते हैं

यह ईएम एल्गोरिथ्म कि this paper पता चलता है की तुलना में कम सटीक होने जा रहा है, लेकिन यह काम करेंगे। वैकल्पिक रूप से, आप केवल नए ऑनलाइन विविधता ईएम प्रशिक्षण एल्गोरिदम का उपयोग कर सकते हैं जो पहले से ही LocalLDAModel में परिणाम देता है। तेजी से होने के अलावा, इस नए एल्गोरिथ्म भी सच है कि यह, फिटिंग DistributedLDAModels के लिए बड़े ईएम एल्गोरिथ्म के विपरीत, Dirichlet के मापदंडों (alphas) ​​विषय मिश्रण दस्तावेज़ों के लिए वजन से अधिक के अनुकूलन है पूर्व की वजह से बेहतर है। Wallach, et. al. के अनुसार, अच्छे विषयों को प्राप्त करने के लिए जोर का अनुकूलन बहुत महत्वपूर्ण है।