Http header 用户代理

Question

我正在尝试从 HTTP header 中的用户代理字符串中获取浏览器列表。 在许多字符串中，浏览器信息是字符串中的第二个条目，如下所示：

(compatible;.MSIE.8.0;.Windows.NT.5.1;.Trident/4.0)

但在某些字符串中，要么没有浏览器信息，要么信息作为第三个条目出现，如下所示：

(Macintosh;.Intel.Mac.OS.X.10_6_1;.U;.so)
(Macintosh;.Intel.Mac.OS.X.10_6_1;.so)

如何解决这个问题？ Python 中是否有任何内容用于处理 HTTP header 字段？ 非常感谢。

Answer 1

一段时间前，我在 PHP 中编写了一个用户代理分析器，所以它可能有点过时，但希望它有所帮助。 我提取了浏览器信息、操作系统和语言，但我只会在此处包含浏览器信息。

所有主要浏览器名称都包含在 UA 字符串中，但 Mozilla 几乎每一个都使用，对于 Firefox，使用字符串 Firefox。 所以创建一个包含内容的数组：

browserList = {'Opera': 'Opera', 
    'Internet Explorer': 'MSIE',
    'Firefox': 'Firefox',
    'Chrome': 'Chrome',
    'Not specified' => ''}

然后尝试在 UA 字符串上匹配这些。 如果您不想扩展统计信息，可以添加更多浏览器。 至于版本号，在大多数情况下，它出现在浏览器名称之后。 因此，尝试在找到浏览器名称的索引之后立即提取第一个数字点号。

你的访问者可能是一个爬虫（一个机器人，比如谷歌的），你可以通过匹配这个列表来找到它们：

nuhk, Googlebot, Yammybot, Openbot, Slurp, MSNBot, Ask Jeeves/Teoma, ia_archiver

希望这可以帮助。