पायथन यूनिकोड एनकोड त्रुटि

Question

मैं पढ़ रहा हूँ और एक अमेज़न एक्सएमएल फ़ाइल को पार्स करने और जब तक एक्सएमएल फ़ाइल से पता चलता है एक ', जब मैं इसे प्रिंट करने की कोशिश मैं निम्नलिखित त्रुटि मिलती है:

'ascii' codec can't encode character u'\u2019' in position 16: ordinal not in range(128) 

मैं क्या है से इस प्रकार ऑनलाइन पढ़ा गया है, त्रुटि इस तथ्य से आ रही है कि एक्सएमएल फाइल यूटीएफ -8 में है, लेकिन पायथन इसे एएससीआईआई एन्कोडेड कैरेक्टर के रूप में संभालना चाहता है। क्या त्रुटि को दूर करने का कोई आसान तरीका है और क्या मेरा प्रोग्राम XML को प्रिंट करता है जैसा कि यह पढ़ता है?

Answer 1

संभावना है कि आपकी समस्या यह है कि आपने इसे ठीक से विश्लेषण किया है, और अब आप एक्सएमएल की सामग्री प्रिंट करने की कोशिश कर रहे हैं और आप ऐसा नहीं कर सकते क्योंकि कुछ विदेशी यूनिकोड वर्ण हैं। पहले ascii के रूप में अपने यूनिकोड स्ट्रिंग एन्कोड करने के लिए प्रयास करें:

unicodeData.encode('ascii', 'ignore') 

'उपेक्षा' भाग यह बताना सिर्फ उन पात्रों को छोड़ने के लिए होगा। अजगर डॉक्स से: http://www.joelonsoftware.com/articles/Unicode.html, जो मैं क्या हो रहा है पर एक बुनियादी ट्यूटोरियल के रूप में बहुत उपयोगी पाया:

>>> u = unichr(40960) + u'abcd' + unichr(1972) 
>>> u.encode('utf-8') 
'\xea\x80\x80abcd\xde\xb4' 
>>> u.encode('ascii') 
Traceback (most recent call last): 
    File "<stdin>", line 1, in ? 
UnicodeEncodeError: 'ascii' codec can't encode character '\ua000' in position 0: ordinal not in range(128) 
>>> u.encode('ascii', 'ignore') 
'abcd' 
>>> u.encode('ascii', 'replace') 
'?abcd?' 
>>> u.encode('ascii', 'xmlcharrefreplace') 
'&#40960;abcd&#1972;' 

आप इस लेख को पढ़ने के लिए चाहते हो सकता है। पढ़ने के बाद, आप महसूस करना बंद कर देंगे जैसे आप अनुमान लगा रहे हैं कि किस आदेश का उपयोग करना है (या कम से कम यह मेरे साथ हुआ)।

Answer 2

आप प्रपत्र

s.decode('utf-8') 

जो एक UTF-8 एक अजगर यूनिकोड स्ट्रिंग में bytestring एन्कोडेड में परिवर्तित कर देंगे के बारे में कुछ कर सकते हैं। लेकिन उपयोग करने की सटीक प्रक्रिया इस बात पर निर्भर करती है कि आप XML फ़ाइल को कैसे लोड और पार्स करते हैं, उदा। यदि आप कभी भी XML स्ट्रिंग को सीधे एक्सेस नहीं करते हैं, तो आपको codecs module से एक डिकोडर ऑब्जेक्ट का उपयोग करना पड़ सकता है।

Answer 3

एक बेहतर समाधान:

if type(value) == str: 
    # Ignore errors even if the string is not proper UTF-8 or has 
    # broken marker bytes. 
    # Python built-in function unicode() can do this. 
    value = unicode(value, "utf-8", errors="ignore") 
else: 
    # Assume the value object has proper __unicode__() method 
    value = unicode(value) 

आप के बारे में क्यों अधिक पढ़ने के लिए करना चाहते हैं:

http://docs.plone.org/manage/troubleshooting/unicode.html#id1

Answer 4

अपनी स्क्रिप्ट के अंदर अपने पर्यावरण के वर्ण एन्कोडिंग को हार्डकोड मत करो; इसके बजाय यूनिकोड टेक्स्ट सीधे प्रिंट करें:

assert isinstance(text, unicode) # or str on Python 3 
print(text) 

यदि आपका आउटपुट किसी फ़ाइल (या पाइप) पर रीडायरेक्ट किया गया है; आप PYTHONIOENCODING envvar इस्तेमाल कर सकते हैं, वर्ण एन्कोडिंग निर्दिष्ट करने के लिए:

$ PYTHONIOENCODING=utf-8 python your_script.py >output.utf8 

अन्यथा, python your_script.py उसी रूप में काम करना चाहिए - अपने स्थान सेटिंग्स (POSIX चेक पर पाठ एन्कोड करने के लिए उपयोग किया जाता है: LC_ALL, LC_CTYPE, LANG envvars - यदि आवश्यक हो तो LANG को utf-8 लोकेल पर सेट करें)।

To print Unicode on Windows, see this answer that shows how to print Unicode to Windows console, to a file, or using IDLE।

Answer 5

मैंने उपद्रव गैर-असीसी उद्धरण और कुछ उपयोग करने योग्य बल को बदलने के लिए निम्नलिखित लिखा है।

unicodeToAsciiMap = {u'\u2019':"'", u'\u2018':"`", } 

def unicodeToAscii(inStr): 
    try: 
     return str(inStr) 
    except: 
     pass 
    outStr = "" 
    for i in inStr: 
     try: 
      outStr = outStr + str(i) 
     except: 
      if unicodeToAsciiMap.has_key(i): 
       outStr = outStr + unicodeToAsciiMap[i] 
      else: 
       try: 
        print "unicodeToAscii: add to map:", i, repr(i), "(encoded as _)" 
       except: 
        print "unicodeToAscii: unknown code (encoded as _)", repr(i) 
       outStr = outStr + "_" 
    return outStr 

Answer 6

अपनी पायथन लिपि के शीर्ष पर निम्न पंक्ति जोड़ने का प्रयास करें।

# _*_ coding:utf-8 _*_ 

Answer 7

बहुत बढ़िया पोस्ट:

: http://www.carlosble.com/2010/12/understanding-python-and-unicode/

# -*- coding: utf-8 -*- 

def __if_number_get_string(number): 
    converted_str = number 
    if isinstance(number, int) or \ 
      isinstance(number, float): 
     converted_str = str(number) 
    return converted_str 


def get_unicode(strOrUnicode, encoding='utf-8'): 
    strOrUnicode = __if_number_get_string(strOrUnicode) 
    if isinstance(strOrUnicode, unicode): 
     return strOrUnicode 
    return unicode(strOrUnicode, encoding, errors='ignore') 


def get_string(strOrUnicode, encoding='utf-8'): 
    strOrUnicode = __if_number_get_string(strOrUnicode) 
    if isinstance(strOrUnicode, unicode): 
     return strOrUnicode.encode(encoding) 
    return strOrUnicode 

Answer 8

आप न कि उन अमुद्रणीय वर्ण अनदेखी से, परदे के लिए स्ट्रिंग की एक अनुमानित प्रतिनिधित्व मुद्रित करने के लिए की जरूरत है, unidecode पैकेज यहाँ से प्रयास करें https://pypi.python.org/pypi/Unidecode

स्पष्टीकरण यहां पाया गया है:

https://www.tablix.org/~avian/blog/archives/2009/01/unicode_transliteration_in_python/

इसमें दिए गए स्ट्रिंग u के लिए u.encode('ascii', 'ignore') का उपयोग करने से बेहतर है, और अनावश्यक सिर दर्द से आप को बचा सकता है, तो चरित्र सटीक नहीं है क्या आप के बाद कर रहे हैं, लेकिन अभी भी मानव पठनीयता करना चाहते हैं।

विरवान