पाइथन खराब यूनिकोड को एसीआईआई

Question

में एन्कोड करने में विफल रहा है मेरे पास कुछ पायथन कोड है जो इसमें खराब यूनिकोड वाला स्ट्रिंग प्राप्त कर रहा है। जब मैं खराब वर्णों को अनदेखा करने का प्रयास करता हूं, तो पाइथन अभी भी चुटकुले (संस्करण 2.6.1)। यह इस प्रकार से पुन: पेश करने के लिए:

s = 'ad\xc2-ven\xc2-ture' 
s.encode('utf8', 'ignore') 

यह

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc2 in position 2: ordinal not in range(128) 

क्या मैं गलत कर रहा हूँ फेंकता है?

Answer 1

एक यूनिकोड उदाहरण के लिए एक स्ट्रिंग परिवर्तित पायथन 2.x में str.decode() है:

>>> s.decode("ascii", "ignore") 
u'ad-ven-ture' 

Answer 2

आप भ्रमित कर रहे हैं "यूनिकोड" और "utf-8"। आपकी स्ट्रिंग s यूनिकोड नहीं है; यह एक विशेष एन्कोडिंग (लेकिन यूटीएफ -8 नहीं, अधिक संभावना आईएसओ -885 9 -1 या ऐसा नहीं है।) unicode से डीकोडिंग डेटा एन्कोडिंग पर किया गया है। यूनिकोड से बाइटस्ट्रिंग तक जाकर एन्कोडिंग है। शायद आप s एक यूनिकोड स्ट्रिंग बनाने के लिए होती:

>>> s = u'ad\xc2-ven\xc2-ture' 
>>> s.encode('utf8', 'ignore') 
'ad\xc3\x82-ven\xc3\x82-ture' 

या शायद आप UTF-8 के रूप में bytestring इलाज लेकिन अवैध दृश्यों को अनदेखा करना चाहते, जिस स्थिति में आप होगा डिकोड 'के रूप में की अनदेखी' के साथ bytestring त्रुटि हैंडलर:

>>> s = 'ad\xc2-ven\xc2-ture' 
>>> u = s.decode('utf-8', 'ignore') 
>>> u 
u'adventure' 
>>> u.encode('utf-8') 
'adventure'