पांडस

Question

में लापता मूल्यों के साथ इन्स को निर्यात करना सीएसवी को पांडस डेटाफ्रेम सहेजते समय, कुछ पूर्णांक फ्लोट में परिवर्तित हो रहे हैं। ऐसा होता है जहां फ्लोट के कॉलम में मूल्य गुम हैं (np.nan)।

क्या इससे बचने का कोई आसान तरीका है? (विशेष रूप से एक स्वचालित तरीके से -। मैं अक्सर विभिन्न डेटा प्रकार के कई कॉलम के साथ सौदा)

उदाहरण के लिए

import pandas as pd 
import numpy as np 
df = pd.DataFrame([[1,2],[3,np.nan],[5,6]], 
        columns=["a","b"], 
        index=["i_1","i_2","i_3"]) 
df.to_csv("file.csv") 

पैदावार

,a,b 
i_1,1,2.0 
i_2,3, 
i_3,5,6.0 

मैं प्राप्त करना चाहते हैं क्या

है

,a,b 
i_1,1,2 
i_2,3, 
i_3,5,6 

संपादित करें: मैं Support for integer NA - Pandas Caveats and Gotchas से पूरी तरह से अवगत हूं। प्रश्न यह है कि एक अच्छा कामकाज क्या है (विशेष रूप से अगर विभिन्न प्रकार के कई अन्य कॉलम हैं और मुझे पहले से पता नहीं है कि "पूर्णांक" कॉलम में मूल्य गुम हैं)।

Answer 1

float_format = '%.12g' का उपयोग करते हुए अंदर to_csv समारोह एक हल मेरे लिए इसी तरह की समस्या।यह अप करने के लिए 12 महत्वपूर्ण अंक के साथ वैध तैरता के लिए दशमलव रखती है, बल्कि ints NaN के की मौजूदगी से तैरता के लिए मजबूर किया जा रहा के लिए उन्हें चला जाता है:

In [4]: df 
Out[4]: 
    a b 
i_1 1 2.0 
i_2 3 NaN 
i_3 5.9 6.0 

In [5]: df.to_csv('file.csv', float_format = '%.12g') 

आउटपुट है:

, a, b 
i_1, 1, 2 
i_2, 3, 
i_3, 5.9, 6 

Answer 2

@EdChum के सुझाव टिप्पणी अच्छा है, आप भी float_format तर्क इस्तेमाल कर सकते हैं

In [28]: a 
Out[28]: 
    a b 
0 0 1 
1 1 NaN 
2 2 3 
In [31]: a.to_csv(r'c:\x.csv', float_format = '%.0f') 

(docs में देखें) बाहर देता है:

,a,b 
0,0,1 
1,1, 
2,2,3 

Answer 3

मैं विस्तार हो रहा हूँ उम्मीदवार यह सुनिश्चित करने के लिए यहां नमूना डेटा सुनिश्चित कर रहे हैं कि आप जिन स्थितियों से निपट रहे हैं:

df = pd.DataFrame([[1.1,2,9.9,44,1.0], 
        [3.3,np.nan,4.4,22,3.0], 
        [5.5,8,np.nan,66,4.0]], 
        columns=list('abcde'), 
        index=["i_1","i_2","i_3"]) 

     a b c d e 
i_1 1.1 2 9.9 44 1 
i_2 3.3 NaN 4.4 22 3 
i_3 5.5 8 NaN 66 4 

df.dtypes 

a float64 
b float64 
c float64 
d  int64 
e float64 

मुझे लगता है कि यदि आप एक सामान्य समाधान चाहते हैं, तो इसे पांडों के कारण स्पष्ट रूप से कोडित किया जाना चाहिए क्योंकि एनएन को इंट कॉलम में अनुमति नहीं दी जा रही है। मैं यहां नीचे जो करता हूं वह पूर्णांक मान (क्योंकि हम वास्तव में प्रकार की जांच नहीं कर सकते हैं क्योंकि वे NaNs में फ़्लोट करने के लिए पुनरावृत्ति हो जाएंगे), और यदि यह एक पूर्णांक मान है तो स्ट्रिंग प्रारूप में कनवर्ट करें 'NAN' से '' (खाली) में कनवर्ट करें। बेशक, यह नहीं है कि आप आउटपुट से पहले अंतिम चरण के अलावा पूर्णांक को स्टोर करना चाहते हैं।

for col in df.columns: 
    if any(df[col].isnull()): 
     tmp = df[col][ df[col].notnull() ] 
     if all(tmp.astype(int).astype(float) == tmp.astype(float)): 
      df[col] = df[col].map('{:.0F}'.format).replace('NAN','') 

df.to_csv('x.csv') 

यहाँ आउटपुट फ़ाइल है और यह भी यह कैसा अगर आप पांडा में वापस इसे पढ़ा है, हालांकि यह करने के उद्देश्य से शायद है अन्य संख्यात्मक पैकेज में इसे पढ़ने के लिए लग रहा है है।

%more x.csv 

,a,b,c,d,e 
i_1,1.1,2,9.9,44,1.0 
i_2,3.3,,4.4,22,3.0 
i_3,5.5,8,,66,4.0 

pd.read_csv('x.csv') 

    Unnamed: 0 a b c d e 
0  i_1 1.1 2 9.9 44 1 
1  i_2 3.3 NaN 4.4 22 3 
2  i_3 5.5 8 NaN 66 4 

Answer 4

यह स्निपेट वह करता है जो आप चाहते हैं और इसे करने में अपेक्षाकृत कुशल होना चाहिए।

import numpy as np 
import pandas as pd 

EPSILON = 1e-9 

def _lost_precision(s): 
    """ 
    The total amount of precision lost over Series `s` 
    during conversion to int64 dtype 
    """ 
    try: 
     return (s - s.fillna(0).astype(np.int64)).sum() 
    except ValueError: 
     return np.nan 

def _nansafe_integer_convert(s): 
    """ 
    Convert Series `s` to an object type with `np.nan` 
    represented as an empty string "" 
    """ 
    if _lost_precision(s) < EPSILON: 
     # Here's where the magic happens 
     as_object = s.fillna(0).astype(np.int64).astype(np.object) 
     as_object[s.isnull()] = "" 
     return as_object 
    else: 
     return s 


def nansafe_to_csv(df, *args, **kwargs): 
    """ 
    Write `df` to a csv file, allowing for missing values 
    in integer columns 

    Uses `_lost_precision` to test whether a column can be 
    converted to an integer data type without losing precision. 
    Missing values in integer columns are represented as empty 
    fields in the resulting csv. 
    """ 
    df.apply(_nansafe_integer_convert).to_csv(*args, **kwargs) 

हम एक सरल DataFrame जो सभी ठिकानों को कवर करना चाहिए के साथ इस परीक्षण कर सकते हैं:

In [75]: df = pd.DataFrame([[1,2, 3.1, "i"],[3,np.nan, 4.0, "j"],[5,6, 7.1, "k"]] 
        columns=["a","b", "c", "d"], 
        index=["i_1","i_2","i_3"]) 
In [76]: df 
Out[76]: 
    a b c d 
i_1 1 2 3.1 i 
i_2 3 NaN 4.0 j 
i_3 5 6 7.1 k 

In [77]: nansafe_to_csv(df, 'deleteme.csv', index=False) 

निम्नलिखित में से कौन csv फ़ाइल का उत्पादन:

a,b,c,d 
1,2,3.1,i 
3,,4.0,j 
5,6,7.1,k