मैं पाइथन में अपने नाम से यूनिकोड चरित्र कैसे निर्धारित कर सकता हूं, भले ही वह चरित्र एक नियंत्रण चरित्र है?

Question

मैं यूनिकोड कोड पॉइंट्स की एक सरणी बनाना चाहता हूं जो जावास्क्रिप्ट में श्वेत स्थान का गठन करे (यूनिकोड-व्हाइट-स्पेस कोड पॉइंट्स को घटाएं, जिसे मैं अलग से संबोधित करता हूं)। ये वर्ण क्षैतिज टैब, लंबवत टैब, फॉर्म फ़ीड, स्थान, गैर-ब्रेकिंग स्पेस और बीओएम हैं। मैं जादू संख्याओं के साथ ऐसा कर सकता था:

whitespace = [0x9, 0xb, 0xc, 0x20, 0xa0, 0xfeff] 

यह थोड़ा अस्पष्ट है; नाम बेहतर होंगे। unicodedata.lookup विधि ord के माध्यम से पारित कुछ मदद करता है:

>>> ord(unicodedata.lookup("NO-BREAK SPACE")) 
160 

लेकिन इस 0x9, 0xb, या 0xc के लिए काम नहीं करता है - मुझे लगता है कि क्योंकि वे नियंत्रण वर्ण हैं, और "नाम" फार्म फ़ीड और इस तरह कर रहे हैं बस उपनाम नाम। क्या मानक पायथन में इन "नामों" को वर्णों, या उनके कोड बिंदुओं को मैप करने का कोई तरीका है? या मैं भाग्य से बाहर हूँ?

Answer 1

केरेक एसबी की टिप्पणी एक अच्छी है: बस नामों को एक टिप्पणी में रखें।

Btw, अजगर भी एक नामित यूनिकोड शाब्दिक समर्थन करता है:

>>> u"\N{NO-BREAK SPACE}" 
u'\xa0' 

लेकिन यह एक ही यूनिकोड नाम डेटाबेस का उपयोग करता है, और नियंत्रण वर्ण यह में नहीं हैं।

Answer 2

यूनिकोड public directory में यूसीडी फ़ाइलों की कुछ पंक्तियों को पार्स करके आप नियंत्रण वर्णों के लिए अपना "डेटाबेस" रोल कर सकते हैं। विशेष रूप से, UnicodeData-6.1.0d3 फ़ाइल देखें (या पिछले संस्करणों के लिए मूल निर्देशिका देखें)।

Answer 3

मुझे नहीं लगता कि यह मानक पायथन में किया जा सकता है। unicodedata मॉड्यूल UnicodeData.txt v5.2.0 यूनिकोड डेटाबेस का उपयोग करता है। ध्यान दें कि नियंत्रण वर्णों को सभी नाम <control> (दूसरा फ़ील्ड, अर्धविराम-सीमांकित) असाइन किया गया है।

पायथन स्रोत वितरण में स्क्रिप्ट Tools/unicode/makeunicodedata.py का उपयोग पायथन रनटाइम द्वारा उपयोग की जाने वाली तालिका उत्पन्न करने के लिए किया जाता है। makeunicodename समारोह इस तरह दिखता है:

def makeunicodename(unicode, trace): 

    FILE = "Modules/unicodename_db.h" 

    print "--- Preparing", FILE, "..." 

    # collect names 
    names = [None] * len(unicode.chars) 

    for char in unicode.chars: 
     record = unicode.table[char] 
     if record: 
      name = record[1].strip() 
      if name and name[0] != "<": 
       names[char] = name + chr(0) 
    ... 

सूचना है कि यह प्रविष्टियों जिसका नाम "<" साथ शुरू होता है से अधिक छोड़ देता है। इसलिए, ऐसा कोई नाम नहीं है जिसे unicodedata.lookup पर पारित किया जा सके जो आपको उन नियंत्रण वर्णों में से एक वापस दे देगा।

क्षैतिज टैब, लाइन फ़ीड और कैरिज रिटर्न के लिए कोड बिंदुओं को बस हार्डकोड करें, और एक वर्णनात्मक टिप्पणी छोड़ दें। Zen of Python चला जाता है, "व्यावहारिकता शुद्धता धड़कता है"।

Answer 4

मान लें कि आप यूनिकोड तारों के साथ काम कर रहे हैं, आपकी सूची में पहले पांच आइटम, साथ ही अन्य सभी यूनिकोड स्पेस वर्ण, नियमित अभिव्यक्ति का उपयोग करते समय \s विकल्प से मेल खाते हैं। अजगर 3.1.2 का उपयोग करना:

>>> import re 
>>> s = '\u0009,\u000b,\u000c,\u0020,\u00a0,\ufeff' 
>>> s 
'\t,\x0b,\x0c, ,\xa0,\ufeff' 
>>> re.findall(r'\s', s) 
['\t', '\x0b', '\x0c', ' ', '\xa0'] 

और बाइट-आदेश निशान के लिए के रूप में, यह देखते हुए एक codecs.BOM_BE या codecs.BOM_UTF16_BE के रूप में भेजा जा सकता है (हालांकि अजगर 3+ में, यह नहीं बल्कि str की तुलना में एक bytes वस्तु के रूप में वापस आ रहा है) ।

Answer 5

official Unicode recommendation न्यूलाइन के लिए पाइथन codecs मॉड्यूल न्यूलाइन संभालता है जिस तरह से बाधाओं में हो सकता है या नहीं हो सकता है।चूंकि u'\n' अक्सर मतलब "नई लाइन" कहा जाता है, एक चरित्र U+2028 LINE SEPARATOR प्रतिनिधित्व करने के लिए और नहीं बल्कि अर्थ-कम नियंत्रण चरित्र U+000A के रूप में की तुलना में, इस तरह के रूप एन्कोड करने की पायथन स्ट्रिंग u'\n' के लिए इस सिफारिश के आधार पर उम्मीद कर सकते हैं। लेकिन मैं केवल भ्रम की कल्पना कर सकता हूं जिसके परिणामस्वरूप codecs मॉड्यूल वास्तव में उस नीति को लागू करता है, और इसके अलावा वैध काउंटर-तर्क भी हैं। क्षैतिज/लंबवत टैब और फॉर्म फ़ीड के लिए डिट्टो, जो शायद वास्तव में वर्ण नहीं हैं लेकिन वैसे भी नियंत्रण करते हैं। (मैं निश्चित रूप से बैकस्पेस को नियंत्रण के रूप में मानता हूं, एक चरित्र नहीं।)

आपका प्रश्न यह मानता है कि U+000A को एक नियंत्रण चरित्र (लाइन विभाजक के बजाय) के रूप में व्यवहार करना गलत है; लेकिन यह बिल्कुल निश्चित नहीं है। शायद टेक्स्ट प्रसंस्करण अनुप्रयोगों के लिए हर जगह यह मानना ​​गलत है कि एक विरासत प्रिंटर-प्लेटिन-स्क्रॉलिंग नियंत्रण संकेत वास्तव में एक वास्तविक "लाइन विभाजक" है।

Answer 6

कुछ अंक:

(1) "BOM" नहीं एक पात्र है। बीओएम एक बाइट अनुक्रम है जो यूटीएफ-एनएन में एन्कोड किए गए फ़ाइल के बाइट ऑर्डर को इंगित करने के लिए फ़ाइल की शुरुआत में दिखाई देता है। बीओएम आप 'यूएफएफएफ' एनकोड ('यूटीएफ-एनएन') है। उपयुक्त कोडेक के साथ एक फाइल पढ़ना बीओएम slurp जाएगा; आप इसे यूनिकोड चरित्र के रूप में नहीं देखते हैं। एक बीओएम डेटा नहीं है। यदि आप अपने डेटा में '\ uFEFF' देखते हैं, तो इसे एक (बहिष्कृत) शून्य-दृष्टि NO-BREAK स्थान के रूप में देखें।

(2) "यूनिकोड-व्हाइट-स्पेस कोड पॉइंट्स को घटाएं, जिसे मैं अलग से संबोधित करता हूं" ?? नहीं है- BREAK एक "यूनिकोड-व्हाइट-स्पेस" कोड बिंदु स्पेस करें?

(3) आपका पायथन टूटा हुआ प्रतीत होता है; मेरा यह करता है:

>>> ord(unicodedata.lookup("NO-BREAK SPACE")) 
160 

(4) आप पहले तीन के लिए बचने के दृश्यों का उपयोग कर सकते हैं।

>>> map(hex, map(ord, "\t\v\f")) 
['0x9', '0xb', '0xc'] 

(5) आप चौथे स्थान के लिए " " का उपयोग कर सकते हैं।

(6) भले ही आप नामों का उपयोग कर सकें, फिर भी आपके कोड के पाठक अंधे विश्वास को लागू करेंगे जो उदा। "फॉर्म फीड" एक व्हाइटस्पेस चरित्र है।

(7) \r और \n पर क्या हुआ?

Answer 7

आप शामिल वर्णों को संभालने के लिए लुकअप फ़ंक्शन का विस्तार कर सकते हैं।

def unicode_lookup(x): 
    try: 
     ch = unicodedata.lookup(x) 
    except KeyError: 
     control_chars = {'LINE FEED':unichr(0x0a),'CARRIAGE RETURN':unichr(0x0d)} 
     if x in control_chars: 
      ch = control_chars[x] 
     else: 
      raise 
    return ch 

>>> unicode_lookup('SPACE') 
u' ' 
>>> unicode_lookup('LINE FEED') 
u'\n' 
>>> unicode_lookup('FORM FEED') 

Traceback (most recent call last): 
    File "<pyshell#17>", line 1, in <module> 
    unicode_lookup('FORM FEED') 
    File "<pyshell#13>", line 3, in unicode_lookup 
    ch = unicodedata.lookup(x) 
KeyError: "undefined character name 'FORM FEED'"