दस्तावेज़ समानता

Question

मैंने दो दस्तावेज़ों के बीच समानता समानता की गणना करने के लिए टीएफ/आईडीएफ का उपयोग किया। इसमें कुछ सीमा है और यह बहुत अच्छी तरह से प्रदर्शन नहीं करता है।

मैं झील प्राधिकरण (अव्यक्त Dirichlet आवंटन) के लिए देखा दस्तावेज़ समानता की गणना करने के। मुझे इस बारे में पता नहीं है। मुझे अपनी समस्या के बारे में बहुत कुछ नहीं मिला।

आप मुझे किसी भी मेरी समस्या से संबंधित ट्यूटोरियल प्रदान करें कर सकते हैं? या आप कुछ सलाह दे सकते हैं कि मैं इस कार्य को एलडीए के साथ कैसे प्राप्त कर सकता हूं ???

धन्यवाद

पी.एस: भी वहाँ झील प्राधिकरण के साथ इस तरह कार्य करने के लिए किसी भी स्रोत कोड availabe है ??

Answer 1

आप LSA (अव्यक्त अर्थ विश्लेषण) के बारे में सोच रहा हो सकता है जो इस तरह की समस्या के लिए एक बहुत ही आम समाधान है।

Answer 2

क्या आपने लुसीन और महौत को देखा है?

यह उपयोगी हो सकता है - Lucene और महावत के साथ Latent Dirichlet Allocation।

Answer 3

एक वर्ष काटा, लेकिन किसी को अभी भी रुचि के लिए, इस blog post पर एक नज़र डालें (अस्वीकरण: यह मेरा स्वयं का ब्लॉग है)। वहां वर्णित एल्गोरिदम और लिंक किए गए कोड शायद आपको वही करेंगे जो आपको चाहिए यदि आपके दिल को किसी विशिष्ट दृष्टिकोण पर सेट नहीं किया गया है।

शशिकांत की टिप्पणी के बारे में, कोज्या समानता एक अच्छा विकल्प नहीं हो सकता है क्योंकि हस्ताक्षर दस्तावेजों को लंबाई में आनुपातिक हैं। लगातार लंबाई हस्ताक्षर बेहतर हैं।

Answer 4

कोज्या समानता की गणना दो दस्तावेज़ों

http://www.scurtu.it/documentSimilarity.html

import urllib,urllib2 
import json 
API_URL="http://www.scurtu.it/apis/documentSimilarity" 
inputDict={} 
inputDict['doc1']='Document with some text' 
inputDict['doc2']='Other document with some text' 
params = urllib.urlencode(inputDict)  
f = urllib2.urlopen(API_URL, params) 
response= f.read() 
responseObject=json.loads(response) 
print responseObject