पांडा ParserError EOF चरित्र जब HDF5

Question

python3 का उपयोग करने के लिए कई csv फ़ाइलें पढ़ने, पांडा 0.12

मैं (कुल आकार 7.9 है जीबी) एक HDF5 दुकान में बाद में बाद कार्रवाई करने के लिए कई csv फ़ाइलें लिखने की कोशिश कर रहा हूँ। सीएसवी फाइलों में लगभग दस लाख पंक्तियां होती हैं, 15 कॉलम और डेटा प्रकार ज्यादातर स्ट्रिंग होते हैं, लेकिन कुछ फ्लोट होते हैं। लेकिन जब मैं csv फ़ाइलें मैं निम्नलिखित त्रुटि मिलती है पढ़ने के लिए कोशिश कर रहा हूँ:

Traceback (most recent call last): 
    File "filter-1.py", line 38, in <module> 
    to_hdf() 
    File "filter-1.py", line 31, in to_hdf 
    for chunk in reader: 
    File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 578, in __iter__ 
    yield self.read(self.chunksize) 
    File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 608, in read 
    ret = self._engine.read(nrows) 
    File "C:\Python33\lib\site-packages\pandas\io\parsers.py", line 1028, in read 
    data = self._reader.read(nrows) 
    File "parser.pyx", line 706, in pandas.parser.TextReader.read (pandas\parser.c:6745) 
    File "parser.pyx", line 740, in pandas.parser.TextReader._read_low_memory (pandas\parser.c:7146) 
    File "parser.pyx", line 781, in pandas.parser.TextReader._read_rows (pandas\parser.c:7568) 
    File "parser.pyx", line 768, in pandas.parser.TextReader._tokenize_rows (pandas\parser.c:7451) 
    File "parser.pyx", line 1661, in pandas.parser.raise_parser_error (pandas\parser.c:18744) 
pandas.parser.CParserError: Error tokenizing data. C error: EOF inside string starting at line 754991 
Closing remaining open files: ta_store.h5... done 

संपादित:

मैं एक फ़ाइल है कि इस समस्या का उत्पादन किया खोज करने में कामयाब। मुझे लगता है कि यह एक ईओएफ चरित्र पढ़ रहा है। हालांकि मुझे इस समस्या से निपटने के लिए कोई सुराग नहीं है। संयुक्त फाइलों के बड़े आकार को देखते हुए मुझे लगता है कि प्रत्येक स्ट्रिंग में प्रत्येक वर्ण को जांचना बहुत बोझिल है। (तब भी मुझे यकीन नहीं होगा कि क्या करना है।) जहां तक ​​मैंने जांच की है, सीएसवी फाइलों में कोई अजीब पात्र नहीं हैं जो त्रुटि को बढ़ा सकता है। मैंने error_bad_lines=False को pd.read_csv() पर जाने का भी प्रयास किया, लेकिन त्रुटि बनी हुई है।

# -*- coding: utf-8 -*- 

import pandas as pd 
import os 
from glob import glob 


def list_files(path=os.getcwd()): 
    ''' List all files in specified path ''' 
    list_of_files = [f for f in glob('2013-06*.csv')] 
    return list_of_files 


def to_hdf(): 
    """ Function that reads multiple csv files to HDF5 Store """ 
    # Defining path name 
    path = 'ta_store.h5' 
    # If path exists delete it such that a new instance can be created 
    if os.path.exists(path): 
     os.remove(path) 
    # Creating HDF5 Store 
    store = pd.HDFStore(path) 

    # Reading csv files from list_files function 
    for f in list_files(): 
     # Creating reader in chunks -- reduces memory load 
     reader = pd.read_csv(f, chunksize=50000) 
     # Looping over chunks and storing them in store file, node name 'ta_data' 
     for chunk in reader: 
      chunk.to_hdf(store, 'ta_data', mode='w', table=True) 

    # Return store 
    return store.select('ta_data') 
    return 'Finished reading to HDF5 Store, continuing processing data.' 

to_hdf() 

संपादित

अगर मैं CSV फ़ाइल CParserError EOF उठाती में जाने ... और मैन्युअल कि खड़ी कर रहा है पंक्ति के बाद सभी पंक्तियों को हटा दें:

मेरे कोड पीछा कर रहा है समस्या, सीएसवी फ़ाइल ठीक से पढ़ा जाता है। हालांकि, मैं जो भी हटा रहा हूं वह रिक्त पंक्तियां वैसे भी हैं। अजीब बात यह है कि जब मैं गलत सीएसवी फाइलों को मैन्युअल रूप से सही करता हूं, तो वे अलग-अलग स्टोर में ठीक से लोड होते हैं। लेकिन जब मैं फिर से कई फाइलों की एक सूची का उपयोग करता हूं तो 'झूठी' फाइलें अभी भी मुझे त्रुटियां लौटाती हैं।

Answer 1

की तरह इस आप 'बुरे' फ़ाइल का पता लगाने (और आगे की जांच) के लिए अनुमति देगा अपने भीतर के पाश बनाने

from pandas.io import parser 

def to_hdf(): 

    ..... 

    # Reading csv files from list_files function 
    for f in list_files(): 
     # Creating reader in chunks -- reduces memory load 

     try: 

      reader = pd.read_csv(f, chunksize=50000) 

      # Looping over chunks and storing them in store file, node name 'ta_data' 
      for chunk in reader: 
       chunk.to_hdf(store, 'ta_data', table=True) 

     except (parser.CParserError) as detail: 
      print f, detail 

Answer 2

मैं एक ऐसी ही समस्या थी। 'ईओएफ अंदर स्ट्रिंग' के साथ सूचीबद्ध रेखा में एक स्ट्रिंग थी जिसमें इसके भीतर एक सिंगल कोट चिह्न था। जब मैंने उद्धरण = csv.QUOTE_NONE विकल्प जोड़ा, तो यह मेरी समस्या को ठीक करता है।

उदाहरण के लिए:

df = pd.read_csv(csvfile, header = None, delimiter="\t", quoting=csv.QUOTE_NONE, encoding='utf-8') 

Answer 3

मैं एक ही समस्या है, और मेरे कोड में ये दो पैरामीटर जोड़ने के बाद, समस्या चला गया है।

read_csv (... quoting=3 , error_bad_lines=False)

Answer 4

मेरे लिए, अन्य समाधान काम नहीं करते और मुझे काफी सिरदर्द का कारण बन गया। error_bad_lines = झूठी अभी भी त्रुटि C error: EOF inside string starting at line देता है। एक अलग उद्धरण का उपयोग करके वांछित परिणाम नहीं दिए गए, क्योंकि मैं अपने पाठ में उद्धरण नहीं चाहता था।

मुझे एहसास हुआ कि पांडस 0.20 में एक बग था। संस्करण 0.21 में अपग्रेड करने से पूरी तरह से मेरी समस्या हल हो गई। इस बग के बारे में अधिक जानकारी, देखें: https://github.com/pandas-dev/pandas/issues/16559

नोट: यह यूआरएल में उल्लिखित विंडोज से संबंधित हो सकता है।

Answer 5

समाधान read_csv फ़ंक्शन में पैरामीटर इंजन = 'पायथन' का उपयोग करना है। पांडस सीएसवी पार्सर एक सीएसवी फ़ाइल पार्स करने के लिए दो अलग-अलग "इंजन" का उपयोग कर सकते हैं - पायथन या सी (जो भी डिफ़ॉल्ट है)।

pandas.read_csv(filepath, sep=',', delimiter=None, 
      header='infer', names=None, 
      index_col=None, usecols=None, squeeze=False, 
      ..., engine=None, ...) 

अजगर इंजन होने के लिए वर्णित है "धीमी है, लेकिन अधिक पूरा सुविधा है" Pandas documentation में।

engine : {‘c’, ‘python’}