एक विशाल सूची में इसी प्रकार के नाम

Question

मेरे पास 50 000 + कंपनियों का डेटाबेस है जो लगातार अद्यतन (200+ प्रति माह) है।

दोहराया सामग्री के साथ एक बहुत बड़ा मुद्दा है क्योंकि नाम हमेशा सख्त/सही नहीं हैं:
"सुपर 1 स्टोर"
"सुपर एक स्टोर"
"सुपर 1 स्टोर"

एक और उदाहरण .. जो शायद अलग दृष्टिकोण की जरूरत है: संपादित
"एमी पिज्जा" < ---> "एमी द्वारा कार्बनिक पिज्जा और कंपनी"

हमें समान नामों के लिए डेटा स्कैन करने के लिए टूल की आवश्यकता है। मेरे पास Levenshtein Distance और LCS के साथ कुछ अनुभव है लेकिन 2 स्ट्रिंग समान हैं तो तुलना करने के लिए वे अच्छा काम करते हैं ...
यहां मुझे 50 000 नाम स्कैन करना होगा प्रत्येक के साथ-साथ प्रत्येक की गणना कर सकते हैं ... समग्र समानता रेटिंग। ..

मुझे सलाह है कि इस समस्या पर हमला कैसे करें अपेक्षित परिणाम बहुत समान नामों के 10-20 समूहों के साथ एक सूची है, और अधिक परिणामों के लिए संवेदनशीलता को और समायोजित कर सकते हैं।

Answer 1

मैं एक साल पहले या तो समान समस्या थी, और अगर मैं अच्छी तरह से याद है, मैं similar_text और soundex का उपयोग कर के रूप में अन्य लोगों को टिप्पणी में कहा (कम या ज्यादा) को हल किया। कुछ इस तरह:

<?php 

$str1 = "Store 1 for you"; 
$str2 = "Store One 4 You"; 

similar_text(soundex($str1), soundex($str2), $percent); 

if ($percent >= 66){ 
    echo "Equal"; 
    //Send an email for review 
}else{ 
    echo "Different"; 
    //Proceed to insert in database 
} 
?> 

मेरे मामले में यह निर्धारित करने के लिए कंपनियों को एक ही कर रहे हैं (इस मामले में डेटाबेस में सम्मिलित नहीं करते हैं लेकिन समीक्षा करने के लिए मेरे लिए एक ईमेल भेजने के लिए, और जाँच 66% की एक प्रतिशत का उपयोग करता है, तो सही है)।

इस समाधान के साथ कुछ महीनों के बाद, मैं कंपनियों के लिए किसी प्रकार का अनूठा कोड (मेरे मामले में सीआईएफ क्योंकि स्पेन में कंपनी द्वारा अद्वितीय है) का उपयोग करने का निर्णय लेता हूं।

Answer 2

मुझे लगता है कि आपको मैन्युअल रूप से कंपनियों की सूची में जाना चाहिए और प्रत्येक कंपनी के लिए एक अद्वितीय प्रविष्टि के साथ एक टेबल बनाना चाहिए। फिर एक से एक टेबल है जहां आप सही नाम के विभिन्न नामों का संदर्भ देते हैं। मुझे लगता है कि इसका मतलब सामान्यीकरण है।

तालिका: companies:

|id|base_name 
|1 |Super 1 Store 

तालिका: company_mapping:

|id|company_id|name 
|1 |1   |Super 1 Store 
|2 |1   |Super One Store 
|3 |1   |Super 1 Stores 

Answer 3

विशुद्ध रूप से यह कितना हम के रूप में इसी तरह के 2 तार पर विचार करने को बर्दाश्त करना चाहिए पर निर्भर करते हैं .. soundex अच्छी तरह से

के रूप में उपयोगी हो सकता है

select soundex('Super One Store') returns S165236 
    select soundex('Super 1 Store'); returns S16236 
    select soundex('Super One Stores') returns S1652362 

S16236 सभी मामलों में आम है, तो आप फ़िल्टर का उपयोग कर सकते हैं नीचे

select * from (
select 'Super One Store' as c 
union 
select 'Super 1 Store' as c 
union 
select 'Super One Stores' as c 
union 
select 'different one' as c 
union 
select 'supers stores' as c 
) tmp 
where soundex(c) like CONCAT('%', soundex('Super store'), '%') 
or soundex(c) like CONCAT('%', soundex('Super one store'), '%')