वेब स्क्रैपर में कई वेब पेजों का उपयोग

Question

मैं कुछ पाइथन कोड पर काम कर रहा हूं ताकि सरकारी वेबसाइटों से सोशल मीडिया खातों के लिंक प्राप्त हो सकें, जिससे आसानी से अनुसंधान के लिए नगर पालिकाओं से संपर्क किया जा सके। मैंने 2.7 में काम करने के लिए कुछ कोड अनुकूलित करने में कामयाब रहा है, जो किसी दिए गए इनपुट वेबसाइट पर फेसबुक, ट्विटर, लिंक्डइन और google + के सभी लिंक प्रिंट करता है। जिस मुद्दे का मैं वर्तमान में अनुभव कर रहा हूं वह यह है कि मैं केवल एक वेब पेज पर लिंक नहीं ढूंढ रहा हूं, लेकिन लगभग 200 वेबसाइटों की सूची में, मेरे पास एक्सेल फ़ाइल में है। मुझे पाइथन में इस तरह के सूचियों को आयात करने का कोई अनुभव नहीं है, इसलिए मैं सोच रहा था कि कोई भी कोड को देख सकता है, और यदि संभव हो तो इन सभी वेब पृष्ठों को base_url के रूप में सेट करने का एक उचित तरीका सुझाएं;

import cookielib 

import mechanize 

base_url = "http://www.amsterdam.nl" 

br = mechanize.Browser() 
cj = cookielib.LWPCookieJar() 
br.set_cookiejar(cj) 
br.set_handle_robots(False) 
br.set_handle_equiv(False) 
br.set_handle_redirect(True) 
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1) 
br.addheaders = [('User-agent', 
       'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')] 
page = br.open(base_url, timeout=10) 

links = {} 
for link in br.links(): 
    if link.url.find('facebook')>=0 or link.url.find('twitter')>=0 or link.url.find('linkedin')>=0 or link.url.find('plus.google')>=0: 
    links[link.url] = {'count': 1, 'texts': [link.text]} 

# printing 
for link, data in links.iteritems(): 
print "%s - %s - %s - %d" % (base_url, link, ",".join(data['texts']), data['count']) 

Answer 1

आपने बताया कि आपके पास सभी वेबसाइटों की सूची के साथ एक एक्सेल फ़ाइल है? इसलिए आप एक्सेल फ़ाइल को csv फ़ाइल के रूप में निर्यात कर सकते हैं जिसे आप अपने पायथन कोड से मान पढ़ सकते हैं।

Here's some more information regarding that।

Here's how to work directly with excel files

आप पंक्तियों के साथ कुछ कर सकते हैं:

import csv 

links = [] 

with open('urls.csv', 'r') as csv_file: 
    csv_reader = csv.reader(csv_file) 
    # Simple example where only a single column of URL's is present 
    links = list(csv_reader) 

अब links सभी यूआरएल की एक सूची है। फिर आप उस फ़ंक्शन के अंदर सूची में लूप कर सकते हैं जो पृष्ठ लाता है और डेटा को स्क्रैप करता है।

def extract_social_links(links): 
    for link in links: 
     base_url = link 

     br = mechanize.Browser() 
     cj = cookielib.LWPCookieJar() 
     br.set_cookiejar(cj) 
     br.set_handle_robots(False) 
     br.set_handle_equiv(False) 
     br.set_handle_redirect(True) 
     br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(),  max_time=1) 
     br.addheaders = [('User-agent', 
      'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')] 
     page = br.open(base_url, timeout=10) 

     links = {} 
     for link in br.links(): 
      if link.url.find('facebook')>=0 or link.url.find('twitter')>=0 or  link.url.find('linkedin')>=0 or link.url.find('plus.google')>=0: 
      links[link.url] = {'count': 1, 'texts': [link.text]} 

     # printing 
     for link, data in links.iteritems(): 
     print "%s - %s - %s - %d" % (base_url, link, ",".join(data['texts']), data['count']) 

एक तरफ के रूप में, आपको संभवतः अपनी स्थिति को विभाजित करना चाहिए ताकि उन्हें और अधिक पठनीय बनाया जा सके।