पायथन: हो रही सही स्ट्रिंग की लंबाई जब यह सरोगेट जोड़े

Question

IPython पर निम्नलिखित एक्सचेंज पर विचार शामिल हैं:

In [1]: s = u'華袞與緼同歸' 

In [2]: len(s) 
Out[2]: 8 

सही उत्पादन 7 किया जाना चाहिए था, लेकिन इन सात चीनी अक्षरों के पांचवें एक उच्च यूनिकोड कोड है, क्योंकि -पॉइंट, यह केवल एक साधारण कोडपॉइंट की बजाय "सरोगेट जोड़ी" द्वारा यूटीएफ -8 में दर्शाया गया है, और नतीजतन पायथन सोचता है कि यह एक के बजाय दो अक्षर है।

यहां तक ​​कि अगर मैं unicodedata है, जो सही ढंग से किराए की जोड़ी देता है एक भी कोडपॉइंट (\U00026177) के रूप में उपयोग करते हैं, जब len() के लिए पारित गलत लंबाई अभी भी दिया जाता है:

In [3]: import unicodedata 

In [4]: unicodedata.normalize('NFC', s) 
Out[4]: u'\u83ef\u889e\u8207\u7dfc\U00026177\u540c\u6b78' 


In [5]: len(unicodedata.normalize('NFC', s)) 
Out[5]: 8 

के लिए अजगर recompiling की तरह कठोर कदम उठाने के बिना यूटीएफ -32, क्या इस तरह की स्थितियों में सही लंबाई पाने का एक आसान तरीका है?

मैं आईपीथन 0.13, पायथन 2.7.2, मैक ओएस 10.8.2 पर हूं।

Answer 1

मुझे लगता है कि यह 3.3 में तय किया गया है। देखें:

http://docs.python.org/py3k/whatsnew/3.3.html
http://www.python.org/dev/peps/pep-0393/ (wstr_length के लिए खोज)

Answer 2

आप अजगर (देखें: How does len work?) में लेन समारोह ओवरराइड कर सकते हैं और जोड़ने के एक अगर यह में बयान अतिरिक्त लंबे यूनिकोड के लिए जाँच करने के लिए।

Answer 3

मैं एक समारोह अजगर 2 पर यह करने के लिए करते हैं:

SURROGATE_PAIR = re.compile(u'[\ud800-\udbff][\udc00-\udfff]', re.UNICODE) 
def unicodeLen(s): 
    return len(SURROGATE_PAIR.sub('.', s)) 

एक भी चरित्र के साथ किराए की जोड़े की जगह से, हम 'ठीक' len कार्य करते हैं। सामान्य तारों पर, यह बहुत कुशल होना चाहिए: चूंकि पैटर्न मेल नहीं खाएगा, इसलिए मूल स्ट्रिंग को संशोधन के बिना वापस कर दिया जाएगा। यह चौड़े (32-बिट) पायथन बिल्ड पर भी काम करना चाहिए, क्योंकि सरोगेट जोड़ी एन्कोडिंग का उपयोग नहीं किया जाएगा।