ट्वीट वर्गीकरणकर्ता फ़ीचर-चुनाव NLTK

Question

मैं वर्तमान में NLTK में अनुभवहीन Bayes क्लासिफ़ायर का उपयोग ट्वीट वर्गीकृत करने के लिए कोशिश कर रहा हूँ। मैं '$' उपसर्ग (उदाहरण: $ एएपीएल) का उपयोग करके विशेष स्टॉक प्रतीकों से संबंधित ट्वीट्स वर्गीकृत कर रहा हूं। मैं इस ब्लॉग पोस्ट को बंद करने के लिए अपनी पायथन लिपि का आधार रहा हूं: Twitter Sentiment Analysis using Python and NLTK। अब तक, मुझे उचित अच्छे परिणाम मिल रहे हैं। हालांकि, मुझे लगता है कि सुधार के लिए बहुत अधिक जगह है।

मेरे वचन-फीचर चयन विधि में, मैं सबसे जानकारीपूर्ण शब्द का चयन करने के tf-आईडीएफ एल्गोरिथ्म लागू करने का फैसला। ऐसा करने के बाद, मुझे लगा कि परिणाम प्रभावशाली नहीं थे।

मैं उसके बाद निम्न ब्लॉग पर तकनीक को लागू किया: Text Classification Sentiment Analysis Eliminate Low Information Features। परिणाम टीएफ-आईडीएफ एल्गोरिदम के साथ प्राप्त किए गए लोगों के समान ही थे, जिसने मुझे अपने वर्गीकृत की 'सर्वाधिक जानकारीपूर्ण विशेषताओं' सूची का अधिक निरीक्षण करने का नेतृत्व किया।

ट्वीट और वास्तविक भाषा एक ही व्याकरण और शब्दों का उपयोग नहीं है: कि जब मुझे एहसास हुआ कि मैं एक बड़ा समस्या थी है। एक सामान्य पाठ में, टीएफ-आईडीएफ या स्टॉपवर्ड का उपयोग करके कई लेख और क्रियाएं सिंगल की जा सकती हैं। हालांकि, एक ट्वीट कॉर्पस में, कुछ बेहद अनौपचारिक शब्द, जैसे कि 'द', 'और', 'है' इत्यादि, उतना ही शब्द होते हैं जो पाठ को सही ढंग से वर्गीकृत करने के लिए महत्वपूर्ण होते हैं। मैं केवल उन सभी शब्दों को हटा नहीं सकता जिनके पास 3 से कम अक्षर हैं, क्योंकि कुछ अनौपचारिक विशेषताएं उस से बड़ी हैं, और कुछ जानकारीपूर्ण लोग छोटे हैं।

अगर मैं कर सकता, मैं अक्सर सूची अद्यतन करने की आवश्यकता की वजह से, stopwords का उपयोग नहीं करना चाहते हैं। हालांकि, अगर यह मेरा एकमात्र विकल्प है, तो मुझे लगता है कि मुझे इसके साथ जाना होगा।

तो, मेरे प्रश्न को सारांशित करने के लिए, क्या कोई जानता है कि सचमुच एक विशिष्ट स्रोत में सबसे अधिक जानकारीपूर्ण शब्द प्राप्त करें जो एक ट्वीट है?

संपादित करें: मैं तीन समूहों में वर्गीकृत करने की कोशिश कर रहा हूं: सकारात्मक, नकारात्मक, और तटस्थ। इसके अलावा, मैं सोच रहा था, टीएफ-आईडीएफ के लिए, क्या मुझे केवल निम्न स्कोर वाले शब्दों को कम करना चाहिए, या कुछ उच्च स्कोर वाले भी? प्रत्येक मामले में, पाठ स्रोत की शब्दावली का प्रतिशत प्रतिशत आप सुविधा चयन प्रक्रिया से बाहर क्यों करेंगे?

Answer 1

ब्लॉग पोस्ट आप लिंक show_most_informative_features विधि का वर्णन करने के लिए, लेकिन यह भी एक NaiveBayesClassifiermost_informative_features विधि है कि रिटर्न बजाय सुविधाओं सिर्फ उन्हें मुद्रण। आप अपने प्रशिक्षण सेट के आधार पर एक कटऑफ सेट कर सकते हैं- "द", "और" जैसी सुविधाएं और सूचनात्मकता के मामले में अन्य महत्वपूर्ण विशेषताएं सूची के नीचे होंगी।

यह सच है कि इस दृष्टिकोण overfitting के अधीन हो सकता है (कुछ सुविधाओं को और अधिक अपने परीक्षण सेट की तुलना में अपने प्रशिक्षण सेट में महत्वपूर्ण होगा), लेकिन यह कुछ भी है कि अपने प्रशिक्षण सेट के आधार पर सुविधाओं फिल्टर का सच होगा।