'utf-8' कोडेक Python3.4 में एक फ़ाइल को बाइट डीकोड नहीं कर सकता है लेकिन Python2.7

Question

में नहीं, मैं python2.7 में एक फ़ाइल पढ़ने की कोशिश कर रहा था, और इसे पूरी तरह से पढ़ा गया था। समस्या मेरे पास है वह यह है कि जब मैं Python3.4 में एक ही कार्यक्रम पर अमल और उसके बाद त्रुटि दिखाई:

'utf-8' codec can't decode byte 0xf2 in position 424: invalid continuation byte' 

इसके अलावा, जब मैं Windows (python3.4 के साथ) में कार्यक्रम चलाने के लिए, त्रुटि नहीं है दिखाई देते हैं। दस्तावेज़ की पहली पंक्ति है: Codi;Codi_lloc_anonim;Nom

और मेरे कार्यक्रम का कोड है:

def lectdict(filename,colkey,colvalue): 
    f = open(filename,'r') 
    D = dict() 

    for line in f: 
     if line == '\n': continue 
     D[line.split(';')[colkey]] = D.get(line.split(';')[colkey],[]) + [line.split(';')[colvalue]] 

f.close 
return D 

Traduccio = lectdict('Noms_departaments_centres.txt',1,2) 

Answer 1

को Python2 में,

f = open(filename,'r') 
for line in f: 

बाइट्स के रूप में फ़ाइल से लाइनों पढ़ता है।

पायथन 3 में, एक ही कोड फ़ाइल से लाइनों को के रूप में पढ़ता है। पायथन 3 स्ट्रिंग्स हैं जो Python2 कॉल unicode ऑब्जेक्ट्स हैं। कुछ एन्कोडिंग के अनुसार ये बाइट्स डीकोड किए गए हैं। पायथन 3 में डिफ़ॉल्ट एन्कोडिंग utf-8 है।

त्रुटि संदेश

'utf-8' codec can't decode byte 0xf2 in position 424: invalid continuation byte' 

से पता चलता python3 utf-8 के रूप में बाइट्स डिकोड करने के लिए कोशिश कर रहा है। चूंकि कोई त्रुटि है, फ़ाइल में utf-8 एन्कोडेड बाइट शामिल नहीं है।

समस्या आप करने की जरूरत है फ़ाइल का सही एन्कोडिंग निर्दिष्ट ठीक करने के लिए:

with open(filename, encoding=enc) as f: 
    for line in f: 

आप सही एन्कोडिंग पता नहीं है, तो आप इस कार्यक्रम बस सभी ज्ञात एनकोडिंग कोशिश करने के लिए चला सकते हैं पायथन के लिए। यदि आप भाग्यशाली हैं तो एन्कोडिंग होगा जो बाइट्स को पहचानने योग्य पात्रों में बदल देता है। कभी-कभी एक एन्कोडिंग की तुलना में काम करने के लिए दिखाई दे सकता है, इस स्थिति में आपको जांच करने की आवश्यकता होगी और परिणामों की सावधानी से तुलना करें।

# Python3 
import pkgutil 
import os 
import encodings 

def all_encodings(): 
    modnames = set(
     [modname for importer, modname, ispkg in pkgutil.walk_packages(
      path=[os.path.dirname(encodings.__file__)], prefix='')]) 
    aliases = set(encodings.aliases.aliases.values()) 
    return modnames.union(aliases) 

filename = '/tmp/test' 
encodings = all_encodings() 
for enc in encodings: 
    try: 
     with open(filename, encoding=enc) as f: 
      # print the encoding and the first 500 characters 
      print(enc, f.read(500)) 
    except Exception: 
     pass 

Answer 2

ठीक है, मैं @unutbu के रूप में मुझे बता भी ऐसा ही किया। नतीजा यह था कि इनमें से एक एन्कोडिंग सीपी 1250 है, इस कारण से मैं एफ = ओपन (फ़ाइल नाम, 'आर') एफ = ओपन (फ़ाइल नाम, 'आर', एन्कोडिंग = 'सीपी 1250') के लिए बदलता हूं जैसे @ ट्रिपली मुझे सुझाव देते हैं। और अब मैं अपनी फाइलें पढ़ सकता हूं।