डेटाफ्रेम पांडस

Question

में वाक्यों से सबसे अधिक 100 शब्दों की गणना करें मेरे पास पांडस डेटाफ्रेम में एक कॉलम में टेक्स्ट समीक्षा है और मैं अपने आवृत्ति गणनाओं (पूरे कॉलम में - एकल सेल में नहीं) के साथ एन-सबसे लगातार शब्दों को गिनना चाहता हूं। एक दृष्टिकोण प्रत्येक पंक्ति के माध्यम से एक काउंटर का उपयोग कर शब्दों की गणना कर रहा है। क्या कोई बेहतर विकल्प है?

प्रतिनिधि डेटा।

0 a heartening tale of small victories and endu 
1 no sophomore slump for director sam mendes w 
2 if you are an actor who can relate to the sea 
3 it's this memory-as-identity obviation that g 
4 boyd's screenplay (co-written with guardian 

Answer 1

Counter(" ".join(df["text"]).split()).most_common(100) 

im यकीन है कि आप क्या चाहते हैं आप देना होगा

Answer 2

@ Joran के समाधान आप भी आप कर सकते थे के साथ साथ (आप most_common कॉल करने से पहले काउंटर परिणाम से कुछ गैर शब्द हटाने के लिए हो सकता है)/पंक्तियों

pd.Series(' '.join(df['text']).lower().split()).value_counts()[:100] 

आप मानक series.value_counts से मिलेगा दो बार लगता है (2X) तेजी सेपाठ की बड़ी मात्रा के लिए series.value_counts का उपयोगविधि

मूवी समीक्षा 3000 पंक्तियों के डेटासेट के लिए, कुल 400K वर्ण और 70k शब्द।

In [448]: %timeit Counter(" ".join(df.text).lower().split()).most_common(100) 
10 loops, best of 3: 44.2 ms per loop 

In [449]: %timeit pd.Series(' '.join(df.text).lower().split()).value_counts()[:100] 
10 loops, best of 3: 27.1 ms per loop