जेन्सिम LdaMulticore multiprocessing नहीं?

Question

जब मैं 12 कोर के साथ gensim की एक मशीन पर LdaMulticore मॉडल चलाने के लिए, का उपयोग करते हुए:

lda = LdaMulticore(corpus, num_topics=64, workers=10) 

मुझे लगता है कि

using serial LDA version on this node 

कुछ लाइनों बाद में कहते हैं एक लॉगिंग संदेश मिलता है, मुझे लगता है कि कहते हैं एक और loging संदेश दिखाई

training LDA model using 10 processes 

जब मैं शीर्ष चलाने के लिए, मैं देख रहा हूँ 11 अजगर प्रक्रियाओं पैदा कर दिया है, लेकिन 9 सो रहे हैं, Ie केवल एक कार्यकर्ता सक्रिय है। मशीन में 24 कोर हैं, और किसी भी माध्यम से अभिभूत नहीं हैं। LdaMulticore समानांतर मोड में क्यों नहीं चल रहा है?

Answer 1

सबसे पहले, सुनिश्चित करें कि आप have installed a fast BLAS library, क्योंकि अधिकांश समय लेने वाली चीजें रैखिक बीजगणित के लिए निम्न-स्तर की दिनचर्या के अंदर की जाती हैं।

मेरी मशीन पर gensim.models.ldamodel.LdaMulticore प्रशिक्षण के दौरान workers=4 के साथ सभी 20 सीपीयू कोर का उपयोग कर सकते हैं। इस से बड़े कर्मचारियों को स्थापित करने से प्रशिक्षण में तेजी नहीं आई। One reason might be the corpus iterator is too slow to use LdaMulticore effectively।

corpus को क्रमबद्ध करने और बदलने के लिए आप ShardedCorpus का उपयोग करने का प्रयास कर सकते हैं, जो पढ़ने/लिखने के लिए बहुत तेज़ होना चाहिए। साथ ही, बस अपनी बड़ी .mm फ़ाइल को ज़िपित करें ताकि इसमें कम स्थान लगे (= कम I/O) भी मदद कर सकता है। उदा।,

mm = gensim.corpora.MmCorpus(bz2.BZ2File('enwiki-latest-pages-articles_tfidf.mm.bz2')) 
lda = gensim.models.ldamulticore.LdaMulticore(corpus=mm, id2word=id2word, num_topics=100, workers=4)