पता लगाएं कि क्या चरित्र सरलीकृत है या पारंपरिक चीनी वर्ण

Question

मुझे यह question मिला जो मुझे यह जांचने की क्षमता देता है कि स्ट्रिंग में चीनी वर्ण है या नहीं। मुझे यकीन नहीं है कि यूनिकोड रेंज सही हैं, लेकिन वे जापानी और कोरियाई के लिए झूठी वापसी करते हैं और चीनी के लिए सच हैं।

यह क्या नहीं करता है यह बताता है कि चरित्र पारंपरिक या सरलीकृत चीनी है या नहीं। आप इसे खोजने के बारे में कैसे जाएंगे?

---

अद्यतन

प्रश्न: मुझे एक यूनिकोड वर्ण अगर यह एक चीनी, कोरियाई या जापानी चरित्र है की 32 बिट मूल्य से कैसे पहचान सकते हैं?

http://unicode.org/faq/han_cjk.html

उनका तर्क है कि भले ही उनके आकार के पात्रों में एक ही अर्थ है और इसलिए एक ही कोड के प्रतिनिधित्व वाले किया जाना चाहिए। ठीक है, यह मेरे लिए अर्थहीन नहीं है क्योंकि मैं अलग-अलग पात्रों जो उनके समाधान के साथ काम नहीं करता है का विश्लेषण करने हूँ:

एक बेहतर समाधान एक पूरे के रूप पाठ को देखने के लिए है: काना की पर्याप्त मात्रा में आता है, यह है शायद जापानी, और यदि हंगुल की उचित मात्रा है, तो शायद यह कोरियाई है।

Answer 1

जैसा कि मुझे लगता है कि आपने पाया है, आप नहीं कर सकते। सरलीकृत और पारंपरिक समान पात्रों को लिखने की केवल दो शैलियों हैं - यह यूरोपीय भाषाओं के लिए रोमन और गोथिक लिपि के बीच अंतर की तरह है।

Answer 2

जैसा कि पहले से ही कहा गया है, आप एक चरित्र से स्क्रिप्ट शैली का विश्वसनीय रूप से पता नहीं लगा सकते हैं, लेकिन पाठ के पर्याप्त लंबे नमूने के लिए यह संभव है। रूबी मणि के लिए https://github.com/jpatokal/script_detector देखें जो नौकरी करता है, और Simplified Chinese Unicode table सामान्य चर्चा के लिए।

Answer 3

कुछ वर्णों के लिए यह संभव है। पारंपरिक और सरलीकृत चरित्र ओवरलैप सेट करता है, इसलिए आपके पास मूल रूप से वर्णों के तीन सेट होते हैं:

1. वर्ण केवल पारंपरिक हैं;
2. वर्ण जो केवल सरलीकृत हैं;
3. अक्षरों को छूने वाले वर्ण, और दोनों में उपलब्ध हैं।

उदाहरण के लिए अक्षर Take लें। यह # 2 और # 3 दोनों से संबंधित है ... एक सरलीकृत चरित्र के रूप में, यह 面 और 麵, चेहरे और नूडल्स के लिए खड़ा है। जबकि 麵 केवल एक पारंपरिक चरित्र है। तो यूनिहान डेटाबेस में, 麵 में kSimplifiedVariant है, जो 面 पर इंगित करता है। तो आप कटौती कर सकते हैं कि यह केवल एक पारंपरिक चरित्र है।

लेकिन 面 में kTraditionalVariant भी है, जो 麵 पर इंगित करता है। लेकिन इस जहां प्रणाली टूट जाता है: अगर आपको लगता है कि 面 घटा इस डेटा का उपयोग केवल एक सरल चरित्र है, तो आप गलत होगा ...

दूसरी ओर, 韩 एक kTraditionalVariant है, 韓 की ओर इशारा करते हैं, और ये दोनों एक "वास्तविक" सरलीकृत/पारंपरिक जोड़ी हैं।लेकिन यूनिहान डेटाबेस में कुछ भी 麵面 韩 जैसे मामलों से different 韩 जैसे मामलों को अलग करता है।