如何使用python正则表达式删除忽略www。 并只提供域名？

Question

我正在尝试创建一个正则表达式过滤器，用于清理由python脚本处理的域。

这些域可能只是常规域名

• something.com，some.something.com

或者可以有一个网址结构

• https://some.something.com

或者可以有www的网址结构

• https://www.something.com

我目前有一个粗糙的正则表达式从这些结构中拉出域名，除了我还没有想出一个过滤掉www的方法。 出。

(?:[a-zA-Z0-9](?:[a-zA-Z0-9\-@]{,61}[a-zA-Z0-9])?\.)+[a-zA-Z]{2,11}

这个正则表达式可以很好地抓住网址中的域名，但是当我尝试做任何负面的预测来删除www。时，我似乎无法获得所需的结果。 我试过（？！www。）只拿走了一个不是全部3和。，任何帮助搞清楚这一点都会非常感激。

Answer 1

除非你绝对必须使用正则表达式，否则最好使用为此设计的东西 - 比如内置的urlparse 。 首先，您的正则表达式（以及注释中链接的正则表达式）将不匹配具有非ASCII字符的域。

>>> from urlparse import urlparse # Python 2
>>> # from urllib.parse import urlparse # Python 3

>>> urlparse('http://www.some.domain/the/path')
ParseResult(scheme='http', netloc='www.some.domain', path='/the/path', params='', query='', fragment='')
>>> urlparse('http://www.some.domain/the/path').netloc
'www.some.domain'

请注意，您可能希望检测没有scheme字符串并添加它：

>>> url = 'www.other.domain'
>>> urlparse(url)
ParseResult(scheme='', netloc='', path='www.other.domain', params='', query='', fragment='')
>>> if not urlparse(url).scheme:
...     print urlparse('http://' + url)
ParseResult(scheme='http', netloc='www.other.domain', path='', params='', query='', fragment='')

所以你总是在域netloc的属性ParseResult 。

将域名分离后，如果要删除“www。”，可以使用多种简单方法。

Answer 2

使用urlparse 。 以下是使用它的示例。 我发现使用urlparse比使用regex更容易。 urlparse为您提供了一类解析结果，我们可以选择提取我们想要的项目，然后执行所需的逻辑操作来提取所需的主机。

>>> from urlparse import urlparse
>>> u1 = "https://example.com"
>>> d1 = urlparse(u1)
>>> d1.hostname
'example.com'

>>> u2 = 'https://www.123.com'
>>> h = urlparse(u2)
>>> host = h.hostname
>>> host[4:]
'123.com'

>>> u3 = 'something.com'
>>> d3 = urlparse(u3)
>>> if bool(d3.netloc):
...     print(d3)
... else:
...     print d3.path
... 
something.com

>>> d4 = 'somenew.net/pathis/123'
>>> u4 = urlparse(d4)
'somenew.net/pathis/123'
>>> u4.path.split('/')[0]
'somenew.net'

Answer 3

尝试

((?:[a-z][a-z0-9-]*[a-z0-9]\.|[a-z]\.)(?<!\bwww\.)
 (?:[a-z][a-z0-9-]*[a-z0-9]\.|[a-z]\.)*
 (?:[a-z][a-z0-9-]*[a-z0-9]|[a-z]))

和例子

说明：

• [az][a-z0-9-]*[a-z0-9]\\.|[az]\\. 匹配RFC 1034所描述的标签
• (?<!\\bwww\\.)断言域名不以www.开头www. 。 在第一行上匹配的部分为(?:[az][a-z0-9-]*[a-z0-9]\\.|[az]\\.) 。

要匹配最简单的URL方案（无身份验证部分），请使用以下命令 ：

https?://
(?:www\.)?
((?:[a-z][a-z0-9-]*[a-z0-9]\.|[a-z]\.)+
 (?:[a-z][a-z0-9-]*[a-z0-9]|[a-z]))

请注意， re.VERBOSE用于忽略模式中的空格，因此看起来更具可读性。