अजगर पाठ प्रसंस्करण: NLTK और पांडा

Question

मैं एक टर्म अजगर में दस्तावेज़ मैट्रिक्स कि अतिरिक्त डेटा के साथ एक साथ इस्तेमाल किया जा सकता का निर्माण करने के लिए एक प्रभावी तरीके के लिए देख रहा हूँ।

मैं कुछ अन्य विशेषताओं के साथ कुछ पाठ डेटा है। मैं पाठ पर कुछ विश्लेषण चलाने के लिए चाहता हूं और मैं अन्य विशेषताओं के साथ टेक्स्ट से निकाले गए विशेषताओं (जैसे व्यक्तिगत शब्द टोकन या एलडीए विषयों) से संबंधित सहसंबंधों को सहसंबंधित करना चाहता हूं।

मेरे योजना एक पांडा डेटा फ्रेम के रूप में डेटा लोड और फिर प्रत्येक प्रतिक्रिया एक दस्तावेज का प्रतिनिधित्व करेंगी था। दुर्भाग्य से, मैं एक मुद्दा में भाग:

import pandas as pd 
import nltk 

pd.options.display.max_colwidth = 10000 

txt_data = pd.read_csv("data_file.csv",sep="|") 
txt = str(txt_data.comment) 
len(txt) 
Out[7]: 71581 

txt = nltk.word_tokenize(txt) 
txt = nltk.Text(txt) 
txt.count("the") 
Out[10]: 45 

txt_lines = [] 
f = open("txt_lines_only.txt") 
for line in f: 
    txt_lines.append(line) 

txt = str(txt_lines) 
len(txt) 
Out[14]: 1668813 

txt = nltk.word_tokenize(txt) 
txt = nltk.Text(txt) 
txt.count("the") 
Out[17]: 10086 

ध्यान दें कि दोनों ही मामलों में, पाठ इस तरह से संसाधित किया गया था कि केवल कुछ भी लेकिन रिक्त स्थान, पत्र और,।?! हटा दिया गया था (सादगी के लिए)।

आप देख सकते हैं एक पांडा क्षेत्र एक स्ट्रिंग में बदल कम मैचों वापस आती है और स्ट्रिंग की लंबाई भी कम है।

क्या उपर्युक्त कोड को बेहतर बनाने का कोई तरीका है?

इसके अलावा, str(x) टिप्पणियों में से 1 बड़ी स्ट्रिंग बनाता है जबकि [str(x) for x in txt_data.comment] एक सूची वस्तु बनाता है जिसे शब्दों के एक बैग में नहीं टूटा जा सकता है। nltk.Text ऑब्जेक्ट का उत्पादन करने का सबसे अच्छा तरीका क्या है जो दस्तावेज़ सूचकांक बनाए रखेगा? दूसरे शब्दों में, मैं tm पैकेज से TermDocumentMatrix() के टर्म डॉक्यूमेंट मैट्रिक्स, आर के बराबर बनाने का एक तरीका ढूंढ रहा हूं।

बहुत धन्यवाद।

Answer 1

एक pandasDataFrame का उपयोग कर तो जैसे हर row को nltk कार्यक्षमता लागू करने के लिए किया जाएगा के लाभ: एक परिणाम के रूप

word_file = "/usr/share/dict/words" 
words = open(word_file).read().splitlines()[10:50] 
random_word_list = [[' '.join(np.random.choice(words, size=1000, replace=True))] for i in range(50)] 

df = pd.DataFrame(random_word_list, columns=['text']) 
df.head() 

               text 
0 Aaru Aaronic abandonable abandonedly abaction ... 
1 abampere abampere abacus aback abalone abactor... 
2 abaisance abalienate abandonedly abaff abacina... 
3 Ababdeh abalone abac abaiser abandonable abact... 
4 abandonable abandon aba abaiser abaft Abama ab... 

len(df) 

50 

txt = df.text.apply(word_tokenize) 
txt.head() 

0 [Aaru, Aaronic, abandonable, abandonedly, abac... 
1 [abampere, abampere, abacus, aback, abalone, a... 
2 [abaisance, abalienate, abandonedly, abaff, ab... 
3 [Ababdeh, abalone, abac, abaiser, abandonable,... 
4 [abandonable, abandon, aba, abaiser, abaft, Ab... 

txt.apply(len) 

0  1000 
1  1000 
2  1000 
3  1000 
4  1000 
.... 
44 1000 
45 1000 
46 1000 
47 1000 
48 1000 
49 1000 
Name: text, dtype: int64 

, आप प्रत्येक row प्रवेश के लिए .count():

txt = txt.apply(lambda x: nltk.Text(x).count('abac')) 
txt.head() 

0 27 
1 24 
2 17 
3 25 
4 32 

फिर आप का उपयोग कर परिणाम जोड़ सकते हैं:

txt.sum() 

1239