मैं MySQL में गैर-ASCII वर्ण कैसे प्राप्त कर सकता हूं?

Question

मैं एक MySQL डेटाबेस के साथ काम कर रहा हूं जिसमें Excel से कुछ डेटा आयात किया गया है। डेटा में गैर-ASCII वर्ण (एम डैश इत्यादि) के साथ-साथ छिपे हुए कैरिज रिटर्न या लाइन फ़ीड्स शामिल हैं। क्या MySQL का उपयोग करके इन रिकॉर्ड्स को खोजने का कोई तरीका है?

Answer 1

यह बिल्कुल निर्भर करता है कि तुम क्या "ASCII" के रूप में तय कर रहे हैं, लेकिन मैं इस तरह एक प्रश्न का एक संस्करण की कोशिश कर रहा सुझाव है:

SELECT * FROM tableName WHERE NOT columnToCheck REGEXP '[A-Za-z0-9]'; 

कि क्वेरी सभी पंक्तियों जहां columnToCheck किसी भी गैर अक्षरांकीय शामिल वापस आ जाएगी वर्ण। यदि आपके पास अन्य पात्र हैं जो स्वीकार्य हैं, तो उन्हें नियमित अभिव्यक्ति में वर्ण वर्ग में जोड़ें।

SELECT * FROM tableName WHERE NOT columnToCheck REGEXP '[A-Za-z0-9.,-]'; 

MySQL प्रलेखन के अधिक प्रासंगिक पृष्ठों शायद 12.5.2 Regular Expressions है: उदाहरण के लिए, यदि अवधि, अल्पविराम, और हाइफ़न ठीक कर रहे हैं, के लिए क्वेरी बदल जाते हैं।

Answer 2

यह शायद आप के लिए क्या देख रहे हैं:

select * from TABLE where COLUMN regexp '[^ -~]'; 

यह सभी पंक्तियों जहां स्तंभ में रखे लौटना चाहिए गैर- ASCII वर्ण (या ऐसे न्यू लाइन के रूप में प्रिंट न हो सकने ASCII वर्ण)।

Answer 3

आप 0 दशमलव मान है कि सभी पात्रों के रूप में ASCII परिभाषित कर सकते हैं - 127 (0x00 - 0x7F) और निम्न क्वेरी

SELECT * FROM TABLE WHERE NOT HEX(COLUMN) REGEXP '^([0-7][0-9A-F])*$'; 

का उपयोग कर गैर- ASCII वर्ण के साथ कॉलम मिलेंगे यह सबसे व्यापक क्वेरी था मैं साथ आ सकता था।

Answer 4

MySQL व्यापक चरित्र सेट प्रबंधन प्रदान करता है जो इस तरह की समस्या से मदद कर सकता है।

SELECT whatever 
    FROM tableName 
WHERE columnToCheck <> CONVERT(columnToCheck USING ASCII) 

CONVERT(col USING charset) कार्य करेंगे प्रतिस्थापन अक्षरों में unconvertable वर्ण बदल जाता है। फिर, रूपांतरित और अपरिवर्तित पाठ असमान होगा।

अधिक चर्चा के लिए इसे देखें। http://dev.mysql.com/doc/refman/5.7/en/charset-repertoire.html

आप ASCII के स्थान पर इच्छित किसी भी चरित्र सेट नाम का उपयोग कर सकते हैं। उदाहरण के लिए, यदि आप यह जानना चाहते हैं कि कौन से वर्ण कोड पृष्ठ 1257 (लिथुआनियाई, लातवियाई, एस्टोनियन) में सही ढंग से प्रस्तुत नहीं करेंगे, CONVERT(columnToCheck USING cp1257)

Answer 5

उपरोक्त सभी उदाहरणों से एक गायब चरित्र समाप्ति चरित्र (\ 0) है। यह MySQL कंसोल आउटपुट के लिए अदृश्य है और पहले उल्लिखित किसी भी प्रश्न से खोजने योग्य नहीं है। क्वेरी यह पता लगाने के लिए बस है:

SELECT * FROM `table` WHERE NOT `field` REGEXP "[\\x00-\\xFF]|^$"; 

यह करता है:

select * from TABLE where COLUMN like '%\0%'; 

Answer 6

सही जवाब के आधार पर, लेकिन साथ ही खाते ASCII नियंत्रण वर्ण को ध्यान में रखकर, समाधान है कि मेरे लिए काम किया है एक ही बात: कॉलम में ASCII रेंज के उल्लंघन की खोज करता है, लेकिन आपको नियंत्रण वर्णों की भी खोज करने देता है, क्योंकि यह कोड बिंदुओं के लिए हेक्साडेसिमल नोटेशन का उपयोग करता है। चूंकि कोई तुलना या रूपांतरण नहीं है (@ ओली के उत्तर के विपरीत), यह भी काफी तेज होना चाहिए। (विशेष रूप से यदि MySQL रेगेक्स क्वेरी पर प्रारंभिक समाप्ति करता है, जो इसे निश्चित रूप से करना चाहिए।)

यह शून्य-लंबाई वाले फ़ील्ड लौटने से भी बचाता है। आप एक से थोड़ा-लंबे समय तक संस्करण है कि बेहतर प्रदर्शन कर सकते हैं चाहते हैं, तो आप इस के बजाय का उपयोग कर सकते हैं:

SELECT * FROM `table` WHERE `field` <> "" AND NOT `field` REGEXP "[\\x00-\\xFF]"; 

यह लंबाई से बचने के लिए शून्य लंबाई परिणाम के लिए एक अलग जांच करता है उन्हें एक regex पारित करने के लिए विचार किए बिना। आपके पास शून्य-लंबाई प्रविष्टियों की संख्या के आधार पर, यह काफी तेज़ हो सकता है।

ध्यान दें कि यदि आपका डिफ़ॉल्ट वर्ण सेट कुछ विचित्र है जहां 0x00-0xFF ASCII के समान मानों पर नक्शा नहीं लगाता है (क्या ऐसा कोई चरित्र मौजूद है?), यह झूठी सकारात्मक लौटाएगा। अन्यथा, आनंद लें!

Answer 7

विशेष वर्ण रिकॉर्ड

SELECT * 
FROM tableName 
WHERE fieldName REGEXP '[^a-zA-Z0-9@:. \'\-`,\&]' 

Answer 8

@ zende का जवाब केवल एक ही है कि ascii और गैर ASCII वर्ण के मिश्रण के साथ कॉलम कवर था खोज के लिए इस क्वेरी का उपयोग करते हुए प्रयास करें, लेकिन यह भी है कि समस्याग्रस्त हेक्स बात की थी। मैंने इसका इस्तेमाल किया:

SELECT * FROM `table` WHERE NOT `column` REGEXP '^[ -~]+$' AND `column` !=''