如何处理Web搜寻器中的重复href？

Question

我正在做一个爬虫项目。 我陷入一种情况，页面上的href文本在该域下的其他页面上不断重复。 例如，如果url为example.com，则这些页面上的href值为hrefList = [/ hello / world，/ aboutus，/ blog // contact]。

因此，这些页面的网址为example.com/hello/world example.com/aboutus等

现在在example.com/hello/world页面上，hrefList再次出现。 因此，我将获得网址为example.com/hello/world/hello/world、example.com/hello/world/aboutus等

现在，在这些页面之外，/ hello / world / hello / world是http状态为200的正确页面，并且此过程是递归发生的。 其余页面将找不到页面，因此可以丢弃

我正在获取新网址列表，这些网址不是正确的网址。 有什么办法可以克服这个问题？

这是我的代码库：

for url in allUrls:
    if url not in visitedUrls:
        visitedUrls.append(url)

        http=httplib2.Http()
        response,content=http.request(url,headers={'User-Agent':'Crawler-Project'})        
        if (response.status/100<4):
            soup=BeautifulSoup(content)
            links=soup.findAll('a',href=True)
            for link in links:
                if link.has_key('href'):
                    if len(link['href']) > 1:
                        if not any(x in link['href'] for x in ignoreUrls):
                            if link['href'][0]!="#":
                                if "http" in link["href"]:
                                    allUrls.append(link["href"])
                                else:
                                    if url[-1]=="/" and link['href'][0]=="/":
                                        allUrls.append(url+link['href'][1:])
                                    else:       
                                        if not (url[-1] =="/" or link['href'][0] =="/"): 
                                            allUrls.append(url+"/"+link['href'])
                                        else:
                                            allUrls.append(url+link['href'])

Answer 1

如果我们假设您获得的页面相同，则可能的解决方法是创建该页面的哈希，并确保您不对具有相同哈希的两个页面进行爬网。

散列的内容将确定这种启发式方法的健壮性和资源强度。 您可以散列整个网页的内容，也可以散列其内容/标题和搜寻器找到的链接的某种组合（或者其他对于每个网页来说唯一的URL除外）。 显然，包括页面的URL不是一个好主意，因为您现在的问题是这些页面具有不同的URL但内容相同（带有无效链接）

可以的话，您不必为未正确完成的网页实施变通办法。 那将是一个永无止境的故事。