मैं पर्ल के साथ रूसी स्पैम पदों का पता कैसे लगा सकता हूं?

Question

मेरे पास एक अंग्रेजी भाषा मंच साइट है जो पर्ले में लिखी गई है जो लगातार रूसी में स्पैम के साथ बमबारी होती है। क्या रूसी पाठ का पता लगाने के लिए पर्ल और रेगेक्स का उपयोग करने का कोई तरीका है ताकि मैं इसे अवरुद्ध कर सकूं?

Answer 1

आप Cyrillic वर्ण का पता लगाने के लिए निम्न का उपयोग कर सकते (रूस में प्रयुक्त):

[\u0400-\u04FF]+ 

आप वास्तव में सिर्फ रूसी वर्ण चाहते हैं, आप पूर्वोक्त दस्तावेज़ पर एक नज़र है, जो इस्तेमाल किया सटीक रेंज शामिल ले जा सकते हैं मूल रूसी वर्णमाला के लिए जो [\u0410-\u044F] है। निस्संदेह आपको एक्सटेंशन सिरिलिक वर्णों पर भी विचार करना होगा जिन्हें विशेष रूप से रूसी में उपयोग किया जाता है - दस्तावेज़ में भी उल्लेख किया गया है।

Answer 2

जेजी द्वारा सुझाए गए यूनिकोड साइरिलिक वर्णसेट का उपयोग करके ठीक है अगर सब कुछ एन्कोड किया गया है। हालांकि, यह स्पैम है और अधिकांश भाग के लिए, चीजें नहीं हैं। इसके अतिरिक्त, स्पैमर अक्सर स्पैम में वर्णमाला के मिश्रण का उपयोग करेंगे जो इस दृष्टिकोण को आगे बढ़ाता है।

मैं लगता है कि सबसे अच्छा तरीका है (या कम से कम इस प्रक्रिया में प्रारंभिक कदम) रूसी स्पैम का पता लगाने में सबसे अधिक इस्तेमाल किया वर्णसेट के लिए grep के लिए है:

koi8-r 
windows-1251 
iso-8859-5 

अगले कदम उस के बाद की कोशिश करना होगा क्या रहता है पर कुछ भाषा पहचान एल्गोरिदम। यदि यह एक बड़ी समस्या है, तो Google अनुवाद (जो "पता लगाता है") या जेरोक्स जैसी एक सशुल्क सेवा का उपयोग करें। ये सेवाएं आईएमओ को सर्वश्रेष्ठ भाषा पहचान प्रदान करती हैं।