पायथन: यूनिकोड स्ट्रिंग को स्वीकार करने के लिए StringIO.writelines कैसे प्राप्त करें?

Question

मैं एक

UnicodeEncodeError: 'ascii' codec can't encode character u'\xa3' in position 34: ordinal not in range(128) 

एक स्ट्रिंग नीचे 'a.desc' में संग्रहित पर

हो रही है के रूप में यह '£' वर्ण है। यह अंतर्निहित Google App Engine डेटास्टोर में एक यूनिकोड स्ट्रिंग के रूप में संग्रहीत है, तो यह ठीक है। cStringIO.StringIO.writelines समारोह प्रतीत होता है ascii प्रारूप में सांकेतिक शब्दों में बदलना करने की कोशिश कर कोशिश कर रहा है:

result.writelines(['blahblah',a.desc,'blahblahblah']) 

कैसे मुझे लगता है कि यदि सही शब्दों है यह यूनिकोड के रूप में एन्कोडिंग के इलाज के लिए हिदायत करते हैं?

एप्लिकेशन इंजन अजगर 2.5

Answer 1

StringIO documentation पर चलता है:

स्मृति StringIO मॉड्यूल द्वारा कार्यान्वित फ़ाइलों के विपरीत, [cStringIO] द्वारा प्रदान की गई यूनिकोड स्ट्रिंग के रूप में एन्कोड नहीं किया जा सकता स्वीकार करने के लिए सक्षम नहीं हैं सादा ASCII तार।

यदि संभव हो, तो CStringIO के बजाय स्ट्रिंगियो का उपयोग करें।

Answer 2

आप स्ट्रिंगियो ऑब्जेक्ट को codecs.StreamReaderWriter ऑब्जेक्ट में स्वचालित रूप से एन्कोड और डीकोड करने के लिए ऑब्जेक्ट को लपेट सकते हैं।

इस तरह

:

import cStringIO, codecs 
buffer = cStringIO.StringIO() 
codecinfo = codecs.lookup("utf8") 
wrapper = codecs.StreamReaderWriter(buffer, 
     codecinfo.streamreader, codecinfo.streamwriter) 

wrapper.writelines([u"list of", u"unicode strings"]) 

buffer utf-8 इनकोडिंग बाइट्स से भर दिया जाएगा।

अगर मैं अपने मामले सही ढंग से समझ, आप केवल लिखने के लिए की आवश्यकता होगी, तो आप भी कर सकता है:

import cStringIO, codecs 
buffer = cStringIO.StringIO() 
wrapper = codecs.getwriter("utf8")(buffer) 

Answer 3

आप मैन्युअल StringIO

में जोड़ने से पहले utf-8 के रूप में अपने स्ट्रिंग सांकेतिक शब्दों में बदलना कर सकते हैं

for val in rows: 
    if isinstance(val, unicode): 
     val = val.encode('utf-8') 
result.writelines(rows) 

Answer 4

पायथन 2.6 ने io मॉड्यूल पेश किया और आपको io.StringIO(), "यूनिकोड टेक्स्ट के लिए एक इन-मेमोरी स्ट्रीम" का उपयोग करने पर विचार करना चाहिए।

पुरानी पायथन संस्करणों में यह अनुकूलित नहीं किया गया है (शुद्ध पायथन), बाद के संस्करणों में इसे (तेज़) सी कोड के लिए अनुकूलित किया गया है।