भावना विश्लेषण के लिए प्रशिक्षण डेटा

Question

मुझे कॉर्पोरेट दस्तावेज़ में भावनाओं के लिए पहले से ही सकारात्मक/नकारात्मक के रूप में वर्गीकृत दस्तावेजों का एक समूह कहां मिल सकता है? मैं दस्तावेजों का एक बड़ा हिस्सा चाहता हूं जो कंपनियों के लिए समीक्षा प्रदान करे, जैसे विश्लेषकों और मीडिया द्वारा प्रदान की गई कंपनियों की समीक्षा।

मुझे ऐसे निगम मिलते हैं जिनके पास उत्पादों और फिल्मों की समीक्षा है। क्या व्यवसाय डोमेन के लिए एक कॉर्पस है जिसमें कंपनियों की समीक्षा शामिल है, जो व्यवसाय की भाषा से मेल खाते हैं?

Answer 1

http://www.cs.cornell.edu/home/llee/data/

http://mpqa.cs.pitt.edu/corpora/mpqa_corpus

आप चहचहाना का उपयोग कर सकते है, इसके स्माइली के साथ, इस तरह: http://web.archive.org/web/20111119181304/http://deepthoughtinc.com/wp-content/uploads/2011/01/Twitter-as-a-Corpus-for-Sentiment-Analysis-and-Opinion-Mining.pdf

आशा हो जाता है कि आप शुरू कर दिया। साहित्य में और भी कुछ है, यदि आप निषेध, भावना स्कोप इत्यादि जैसे विशिष्ट सबटास्क में रूचि रखते हैं

कंपनियों पर ध्यान केंद्रित करने के लिए, आप विषय पहचान के साथ एक विधि जोड़ सकते हैं, या सस्ते में बस बहुत सारे उल्लेख एक दी गई कंपनी या आप मैकेनिकल तुर्कर्स द्वारा अपना डेटा एनोटेटेड प्राप्त कर सकते हैं।

Answer 2

मुझे इस तरह के किसी भी कॉर्पस को स्वतंत्र रूप से उपलब्ध होने के बारे में पता नहीं है, लेकिन आप एक लेबल किए गए डेटासेट पर unsupervised method को आजमा सकते हैं।

Answer 3

यहां कुछ और हैं;

http://inclass.kaggle.com/c/si650winter11

http://alias-i.com/lingpipe/demos/tutorial/sentiment/read-me.html

Answer 4

आप कुछ संसाधनों (मीडिया चैनलों, ब्लॉग्स, आदि) डोमेन आप पता लगाने के लिए चाहते हैं के बारे में है, तो आप अपने खुद के कोष बना सकते हैं। मैं अजगर में ऐसा करते हैं:

• सामग्री है कि मैं वर्गीकृत करने के लिए चाहते हैं पार्स करने के लिए ब्यूटीफुल सूप http://www.crummy.com/software/BeautifulSoup/ का उपयोग कर।
• उन वाक्यों को अलग करें जो कंपनियों के बारे में सकारात्मक/नकारात्मक राय हैं।
• NLTK उपयोग इस वाक्य, tokenize शब्द, पीओएस टैगिंग, आदि
• उपयोग NLTK पीएमआई केवल एक ही कक्षा में Bigrams या trigrams राज्यमंत्री लगातार गणना करने के लिए कार्रवाई करने के लिए

बनाना कोष पूर्व के एक कठिन काम है प्रसंस्करण, जांच, टैगिंग इत्यादि, लेकिन सटीकता को बढ़ाने में कई बार एक विशिष्ट डोमेन के लिए मॉडल तैयार करने के लाभ हैं। यदि आप पहले ही तैयार कॉर्पस प्राप्त कर सकते हैं, तो भावनात्मक विश्लेषण के साथ आगे बढ़ें;)

Answer 5

आप डेटाफिनिटी से ऑनलाइन समीक्षाओं का एक बड़ा चयन प्राप्त कर सकते हैं। अधिकांश समीक्षा रेटिंग डेटा के साथ आती हैं, जो सकारात्मक/नकारात्मक से भावनाओं पर अधिक ग्रैन्युलरिटी प्रदान करेगी। यहां एक list of businesses with reviews है, और यहां एक list of products with reviews है।

Answer 6

यह एक सूची है जिसे मैंने कुछ हफ्ते पहले लिखा था, my blog से। इनमें से कुछ डेटासेट हाल ही में एनएलटीके पायथन मंच में शामिल किए गए हैं।

शब्दकोशों बिंग लियू द्वारा

• राय लेक्सिकन

  • यूआरएल: http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#lexicon
  • पेपर: Mining and summarizing customer reviews
  ,210
  • नोट: http://mpqa.cs.pitt.edu/#subj_lexicon
  • पेपर: Recognizing Contextual Polarity in Phrase-Level Sentiment Analysis (Theresa Wilson, Janyce Wiebe, and Paul Hoffmann, 2005) NLTK अजगर मंच

• MPQA आत्मीयता लेक्सिकन

  • यूआरएल में शामिल।

• SentiWordNet

  • यूआरएल: http://sentiwordnet.isti.cnr.it
  • नोट: NLTK अजगर मंच

• में शामिलहार्वर्ड जनरल इन्क्वायरर

  • यूआरएल: http://www.wjh.harvard.edu/~inquirer
  • पेपर: The General Inquirer: A Computer Approach to Content Analysis (Stone, Philip J; Dexter C. Dunphry; Marshall S. Smith; and Daniel M. Ogilvie. 1966)

• भाषाई जांच और वर्ड काउंट्स (LIWC)

  • यूआरएल: http://www.liwc.net

• Vader लेक्सिकन

  • यूआरएल: https://github.com/cjhutto/vaderSentiment, http://comp.social.gatech.edu/papers
  • पेपर: Vader: A parsimonious rule-based model for sentiment analysis of social media text (Hutto, Gilbert. 2014)

---

डेटासेट

• MPQA डेटासेट

  • यूआरएल +०१२३०९३६८६: http://mpqa.cs.pitt.edu

  • नोट्स: जीएनयू पब्लिक लाइसेंस।

    • राजनीतिक बहस डेटा
    • उत्पाद बहस डेटा
    • आत्मीयता नब्ज एनोटेशन

• Sentiment140 (ट्वीट)

  ,210
  • यूआरएल: http://help.sentiment140.com/for-students
  • पेपर: Twitter Sent classification using Distant Supervision (Go, Alec, Richa Bhayani, and Lei Huang)
  • यूआरएल: http://help.sentiment140.com, https://groups.google.com/forum/#!forum/sentiment140

• एसटीएस गोल्ड (ट्वीट)

  • यूआरएल: http://www.tweenator.com/index.php?page_id=13
  • पेपर: Evaluation datasets for twitter sentiment analysis (Saif, Fernandez, He, Alani)
  • नोट: Sentiment140 के रूप में, लेकिन डाटासेट छोटे और मानव annotators के साथ है। यह 3 फाइलों के साथ आता है: ट्वीट्स, इकाइयां (उनकी भावना के साथ) और एक समग्र सेट।

• ग्राहक समीक्षा डेटासेट (उत्पाद समीक्षा)

  • यूआरएल: http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets
  • पेपर: Mining and summarizing customer reviews
  • नोट: समीक्षा का शीर्षक, उत्पाद FEA राय, सकारात्मक/नकारात्मक लेबल राय शक्ति, अन्य जानकारी (तुलना, सर्वनाम संकल्प, आदि के साथ।)

  NLTK अजगर मंच में शामिल

• पक्ष और विपक्ष डेटासेट (पेशेवरों और विपक्ष वाक्य)

  • यूआरएल: http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets
  • पेपर: Mining Opinions in Comparative Sentences (Ganapathibhotla, Liu 2008)
  • नोट: वाक्य की सूची में चिह्नित <pros> या <cons>

  NLTK अजगर मंच में शामिल

• तुलनात्मक वाक्य (समीक्षा)

  • यूआरएल : http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets
  • पेपर: Identifying Comparative Sentences in Text Documents (Nitin Jindal and Bing Liu), Mining Opinion Features in Customer Reviews (Minqing Hu and Bing Liu)
  • नोट: वाक्य, पीओएस-टैग्ड वाक्य, संस्थाओं, तुलना प्रकार (गैर बराबर, समानता, अतिशयोक्ति, गैर gradable)

  में शामिल NLTK अजगर मंच

• सैंडर्स एनालिटिक्स ट्विटर भावना कोर्पस (TWE ETS)

  • यूआरएल: http://www.sananalytics.com/lab/twitter-sentiment

  5513 हाथ से वर्गीकृत ट्वीट्स wrt 4 अलग अलग विषयों। ट्विटर के टीओएस की वजह से, सभी ट्वीट्स डाउनलोड करने के लिए एक छोटी पायथन लिपि शामिल है। भाव वर्गीकरण स्वयं को नि: शुल्क और बिना प्रतिबंध के प्रदान किए जाते हैं। वे वाणिज्यिक उत्पादों के लिए इस्तेमाल किया जा सकता है। उन्हें फिर से वितरित किया जा सकता है। उन्हें संशोधित किया जा सकता है।

• स्पेनिश ट्वीट्स (ट्वीट)

  • यूआरएल: http://www.daedalus.es/TASS2013/corpus.php

• SemEval 2014 (ट्वीट)

  +०१२३५१६४१०६
  • यूआरएल: http://alt.qcri.org/semeval2014/task9

  आप नहीं ट्वीट, एनोटेशन या कोष प्राप्त (रीडमी फ़ाइल से)

• विभिन्न डेटासेट फिर से वितरित करना होगा (समीक्षा)

  • यूआरएल: https://personalwebs.coloradocollege.edu/~mwhitehead/html/opinion_mining.html
  • पेपर: Building a General Purpose Cross-Domain Sentiment Mining Model (Whitehead and Yaeger), Sentiment Mining Using Ensemble Classification Models (Whitehead and Yaeger)

• विभिन्न डेटासेट # 2 (समीक्षा)

  • यूआरएल: http://www.text-analytics101.com/2011/07/user-review-datasets_20.html

---

संदर्भ:

• Keenformatics - Sentiment Analysis lexicons and datasets (अपने ब्लॉग)
• व्यक्तिगत अनुभव