地理定位网站的 Python 网页抓取

Question

我正在尝试抓取一个网站，该网站要求用户分享他们的位置，以便它根据客户所在的国家/地区调整内容。

为此，当我使用 Firefox 访问该站点时，会显示一个浏览器弹出窗口，要求获得该权限。

使用 Python 抓取时，我使用 urllib 打开网站。 有什么方法可以发布或发送我的坐标，以便获得正确的地理定位网站？

谢谢。

BR,

d.

Answer 1

通过浏览网站手动汇总您的数据。 然后在浏览器的开发人员工具中检查您的发布请求。 将该信息与data一起存储在如下所示的字典中。

data = { "text": text }

然后使用它来发出帖子请求。 req=urllib2.Request(url,urllib.urlencode(data), headers)

然后得到你的回应。

response = urllib2.urlopen(req).read()