पायथन में स्ट्रिंग की वाक्य के माध्यम से कैसे पुनरावृत्ति करें?

Question

मान लें कि मेरे पास स्ट्रिंग text = "A compiler translates code from a source language" है।

1. मैं प्रत्येक शब्द के माध्यम से पुनरावृति और NLTK लाइब्रेरी का उपयोग स्टेम करने की जरूरत है: मैं दो बातें करना चाहते हैं। स्टेमिंग के लिए कार्य PorterStemmer().stem_word(word) है। हमें तर्क 'शब्द' पारित करना होगा। मैं प्रत्येक शब्द कैसे लगा सकता हूं और स्टेमड वाक्यों को वापस कैसे प्राप्त कर सकता हूं?

2. मुझे text स्ट्रिंग से कुछ स्टॉप शब्दों को हटाने की आवश्यकता है। बंद शब्दों से युक्त सूची एक पाठ फ़ाइल में संग्रहीत है (रिक्ति द्वारा विभाजित)

   stopwordsfile = open('c:/stopwordlist.txt','r+') 
   stopwordslist=stopwordsfile.read() 
   

   मैं कैसे text से उन रोकने वाले शब्द को हटाने और एक साफ नया स्ट्रिंग मिल सकता है?

Answer 1

मैं एक टिप्पणी के रूप में इस पोस्ट, लेकिन सोचा था कि मैं के साथ-साथ यह शरीर से बाहर हो सकता है कुछ स्पष्टीकरण के साथ एक पूर्ण जवाब में:

आप str.split() उपयोग करने के लिए शब्दों में स्ट्रिंग विभाजित करने के लिए, और फिर स्टेम चाहते प्रत्येक शब्द:

for word in text.split(" "): 
    PorterStemmer().stem_word(word) 

आप एक साथ सभी उपजी शब्दों की एक स्ट्रिंग प्राप्त करना चाहते हैं, यह तुच्छ है तो शामिल होने के लिए इन वापस एक साथ उपजी है। यह आसानी से ऐसा करने के लिए और कुशलता से हम str.join() का उपयोग करें और एक generator expression:

" ".join(PorterStemmer().stem_word(word) for word in text.split(" ")) 

संपादित करें:

अपने अन्य समस्या के लिए:

with open("/path/to/file.txt") as f: 
    words = set(f) 

यहाँ हम the with statement का उपयोग कर (जो सबसे अच्छा है फ़ाइल को खोलने के फ़ाइलों को खोलने का तरीका, क्योंकि यह उन्हें अपवादों पर भी सही तरीके से बंद कर देता है, और अधिक पठनीय है) और सामग्री को एक सेट में पढ़ें। हम एक सेट का उपयोग करते हैं क्योंकि हमें शब्दों, या डुप्लिकेट के क्रम की परवाह नहीं है, और यह बाद में अधिक कुशल होगा। मैं प्रति पंक्ति एक शब्द मान रहा हूं - यदि यह मामला नहीं है, और वे अल्पविराम से अलग हैं, या str.split() का उपयोग करते हुए वेइटस्पेस अलग हो गए हैं जैसा कि हमने पहले किया था (उचित तर्क के साथ) शायद एक अच्छी योजना है।

stems = (PorterStemmer().stem_word(word) for word in text.split(" ")) 
" ".join(stem for stem in stems if stem not in words) 

यहाँ ऐसे शब्द हैं जो शब्द हम एक फ़ाइल से लोड के सेट में हैं अनदेखी करने के लिए एक जनरेटर अभिव्यक्ति की अगर खंड का उपयोग करें। एक सेट पर सदस्यता जांच ओ (1) हैं, इसलिए यह अपेक्षाकृत कुशल होना चाहिए।

संपादित करें 2:

शब्द निकालने के लिए इससे पहले कि वे उपजी रहे हैं, यह और भी आसान है:

" ".join(PorterStemmer().stem_word(word) for word in text.split(" ") if word not in words) 

दिए गए शब्दों को हटाने के लिए बस है:

filtered_words = [word for word in unfiltered_words if not in set_of_words_to_filter] 

में शब्द के लिए

Answer 2

स्ट्रिंग में प्रत्येक शब्द पर के माध्यम से जाने के लिए:

for word in text.split(): 
    PorterStemmer().stem_word(word) 

उपयोग स्ट्रिंग के शामिल होने के विधि (Lattyware द्वारा अनुशंसित) एक बड़ा स्ट्रिंग के लिए टुकड़े जोड़ सकते हैं।

" ".join(PorterStemmer().stem_word(word) for word in text.split(" "))