Python urljoin不删除多余的点

Question

我正在使用urljoin来获取页面链接的绝对URL。 在大多数情况下，它在解决相对链接等方面都做得很好，但是我注意到，由于某些原因，它在某些情况下不能去除多余的点。 例如：

>>> urljoin("http://x.com","http://x.com/../../X",False)
'http://x.com/../../X'
>>> urljoin("http://x.com","http://x.com/./../X",False)
'http://x.com/./../X'

如果将这样的URL提供给Web浏览器，它将对其进行更正，但是，如果我尝试使用Python的urlopen（），则会引发异常（urllib2.HTTPError：HTTP错误400：错误请求）。

这是预期的行为吗？ 是否有其他Python函数可以正确删除我应该使用的这些点，还是一个bug？

Answer 1

我认为您应该使用绝对base和相对url 。
如果您这样称呼它，它将去除圆点：

urljoin("http://x.com/a/b/page.html","../../index.html",False)
# result: 'http://x.com/index.html'

urljoin("http://x.com/a/b/page.html","./index.html",False)
# result: 'http://x.com/a/b/index.html'

我在此答案中找到了标准化URL的方法。 例：

urljoin('http://www.example.com/foo/bar/../../baz/bux/', '.')
# result: 'http://www.example.com/baz/bux/'

我认为无效的url处理（太多.. ）只能“手动”处理，如下所示：

def remove_extra_dots(url):
    parsed = list(urlparse(url))
    dirs = []
    for name in parsed[2].split("/"):
        if name == "..":
            if len(dirs) > 1:
                dirs.pop()
        else:
            dirs.append(name)
    parsed[2] = "/".join(dirs)
    return urlunparse(parsed)

这会从网址中删除所有.. ，即使是无效的也是如此。 例子：

"http://x.com/a/b/c/../../X"  #->  http://x.com/a/X
"http://x.com/a/b/../../X"    #->  http://x.com/X
"http://x.com/../../X"        #->  http://x.com/X

Answer 2

有点bug！ 根据RFC 3986 ，应删除那些多余的..段。 我没有能够找到的Python标准库函数确实可以正确地完成工作。

---

遗憾的是，现有的答案在某些方面有些不正确。 URL解析比预期的要复杂一些。

除了urljoin提到的urljoin的缺点（加入绝对路径时，它不能解析URL，也不能处理过多的.. s），而将URL与结合在一起. 将删除最后一段。 例如， urljoin('http://example.com/dir/./wrong/../file.txt', '.')将导致'http://example.com/dir/' ，删除文件，因此您必须将其重新添加。此外， urljoin('http://example.com/dir/..', '.')结果为'http://example.com/dir/' ，这只是您的情况的错误。

不仅如此，提供的remove_extra_dots函数实际上存在一个错误。 如果URL以结尾的句点结尾（上一段中的最后一个bug使得它不可能，但是如果已通过某种方式解决了）， 则不会添加结尾的斜杠。 考虑remove_extra_dots('http://example.com/..') 。 这应该是'http://example.com/' ，但实际上是'http://example.com' （请注意缺少斜杠）。 差异不大，但是很多站点都会在收到丢失的斜杠时进行重定向，因此您可能会得到意想不到的结果。

---

以下功能可完全解析URL，即两个URL . s和.. s-遵循RFC3986。也不必依赖urljoin ！

try:
    # Python 3
    from urllib.parse import urlsplit, urlunsplit
except ImportError:
    # Python 2
    from urlparse import urlsplit, urlunsplit

def resolve_url(url):
    parts = list(urlsplit(url))
    segments = parts[2].split('/')
    segments = [segment + '/' for segment in segments[:-1]] + [segments[-1]]
    resolved = []
    for segment in segments:
        if segment in ('../', '..'):
            if resolved[1:]:
                resolved.pop()
        elif segment not in ('./', '.'):
            resolved.append(segment)
    parts[2] = ''.join(resolved)
    return urlunsplit(parts)

当您拥有完整的URL（在您的情况下，加入后）时，可以按以下方式调用它。

>>> resolve_url("http://example.com/dir/../../thing/.")
'http://example.com/thing/'

有关有效/无效的更多信息，请参阅我在此主题上写的类似答案 。