कैननिकल यूआरएल पायथन में तुलना करता है?

Question

क्या पाइथन में यूआरएल की तुलना करने के लिए कोई उपकरण हैं?

उदाहरण के लिए, यदि मेरे पास http://google.com और google.com/ है, तो मुझे यह जानना है कि वे एक ही साइट होने की संभावना है।

यदि मैं मैन्युअल रूप से नियम बनाना चाहता था, तो मैं इसे अपरकेस कर सकता हूं, फिर http:// भाग को बंद कर दें, और अंतिम अल्फा-न्यूमेरिक चरित्र के बाद कुछ भी छोड़ दें .. लेकिन मुझे यकीन है कि मैं इसकी विफलताओं को देख सकता हूं, क्योंकि मुझे यकीन है आप भी कर सकते हैं

क्या कोई पुस्तकालय है जो यह करता है? आपको इसे कैसे करना होगा?

Answer 1

यह 'अस्पष्ट' नहीं, यह सिर्फ दो तार के बीच की दूरी 'लगता है:

http://pypi.python.org/pypi/python-Levenshtein/

मैं सभी भागों जो शब्दार्थ पार्स करने यूआरएल को सार्थक कर रहे हैं (प्रोटोकॉल, स्लैश, आदि) हटा , लोअरकेस को सामान्य करें, फिर एक लेवेनस्टीन दूरी करें, फिर वहां से तय करें कि स्वीकार्य सीमा कितनी अंतर है।

बस एक विचार।

Answer 2

मेरे सिर के ऊपर से

यह:

def canonical_url(u): 
    u = u.lower() 
    if u.startswith("http://"): 
     u = u[7:] 
    if u.startswith("www."): 
     u = u[4:] 
    if u.endswith("/"): 
     u = u[:-1] 
    return u 

def same_urls(u1, u2): 
    return canonical_url(u1) == canonical_url(u2) 

जाहिर है, और भी है इस के साथ नगण्य के लिए कमरे के बहुत सारे। Regexes प्रारंभिक और endwith से बेहतर हो सकता है, लेकिन आप विचार मिलता है।

Answer 3

आप डीएनएस का उपयोग कर नाम देख सकते हैं और देख सकते हैं कि वे एक ही आईपी को इंगित करते हैं या नहीं। भ्रमित वर्णों को हटाने के लिए कुछ मामूली स्ट्रिंग प्रसंस्करण की आवश्यकता हो सकती है।

from socket import gethostbyname_ex 

urls = ['http://google.com','google.com/','www.google.com/','news.google.com'] 

data = [] 
for orginalName in urls: 
    print 'url:',orginalName 
    name = orginalName.strip() 
    name = name.replace('http://','') 
    name = name.replace('http:','') 
    if name.find('/') > 0: 
     name = name[:name.find('/')] 
    if name.find('\\') > 0: 
     name = name[:name.find('\\')] 
    print 'dns lookup:', name 
    if name: 
     try: 
      result = gethostbyname_ex(name) 
     except: 
      continue # Unable to resolve 
     for ip in result[2]: 
      print 'ip:', ip 
      data.append((ip, orginalName)) 

print data 

परिणाम:

url: http://google.com 
dns lookup: google.com 
ip: 66.102.11.104 
url: google.com/ 
dns lookup: google.com 
ip: 66.102.11.104 
url: www.google.com/ 
dns lookup: www.google.com 
ip: 66.102.11.104 
url: news.google.com 
dns lookup: news.google.com 
ip: 66.102.11.104 
[('66.102.11.104', 'http://google.com'), ('66.102.11.104', 'google.com/'), ('66.102.11.104', 'www.google.com/'), ('66.102.11.104', 'news.google.com')]