एक शोध परियोजना के लिए, मैं पायथन-ट्विटर का उपयोग कर ट्वीट्स एकत्र कर रहा हूं। हालांकि, एक सप्ताह के लिए एक कंप्यूटर पर हमारे कार्यक्रम नॉनस्टॉप चलाते समय हम प्रति सप्ताह केवल 20 एमबी डेटा एकत्रित करने में कामयाब होते हैं। मैं केवल एक ही मशीन पर इस कार्यक्रम को चला रहा हूं ताकि हम दो बार एक ही ट्वीट नहीं एकत्र कर सकें।पाइथन में ट्विटर एपीआई का उपयोग करके अधिक तेज़ी से ट्वीट्स कैसे एकत्र करें?
हमारा प्रोग्राम एक लूप चलाता है जो प्रत्येक 60 सेकंड में getPublicTimeline() को कॉल करता है। मैंने सार्वजनिक टाइमलाइन में दिखाई देने वाले कुछ उपयोगकर्ताओं पर getUserTimeline() को कॉल करके इसे सुधारने की कोशिश की। हालांकि, यह लगातार मुझे हर बार करीब आधे घंटे तक ट्वीट इकट्ठा करने से प्रतिबंधित कर देता है। प्रतिबंध के बावजूद, ऐसा लगता है कि इस कोड को जोड़कर बहुत कम गति थी।
मुझे ट्विटर की "श्वेतसूची" के बारे में पता है जो उपयोगकर्ता को प्रति घंटा अधिक अनुरोध सबमिट करने की अनुमति देता है। मैंने इसके बारे में तीन हफ्ते पहले आवेदन किया था, और तब से वापस नहीं सुना है, इसलिए मैं उन विकल्पों की तलाश में हूं जो हमारे कार्यक्रम को मानक दर सीमा के बिना ट्वीट्स को अधिक कुशलता से इकट्ठा करने की अनुमति देंगे। क्या किसी को ट्विटर से सार्वजनिक ट्वीट्स एकत्र करने के लिए एक तेज़ तरीका पता है? हम प्रति सप्ताह लगभग 100 एमबी प्राप्त करना चाहते हैं।
धन्यवाद।
पुरानी पोस्ट, लेकिन यहां जो लोग ठोकर खा रहे हैं: getPublicTimeline() वर्तमान ट्विटर एपीआई और न ही पायथन-ट्विटर कोड में है, लेकिन शायद यह उस उपयोगकर्ता की टाइमलाइन प्राप्त करता है जिसे प्रमाणीकृत किया गया है - मेरा अनुमान यही कारण है छोटी संख्या में ट्वीट्स के लिए। मुझे नहीं लगता कि आप आरईएसटी एपीआई के साथ एक खुली क्वेरी कर सकते हैं, लेकिन स्ट्रीमिंग एपीआई के साथ आप (मुझे लगता है कि फायरहोज का 1% - कुछ दिनों में डेटा के कुछ गिग प्राप्त करने के लिए बहुत कुछ) – drevicko