地理定位網站的 Python 網頁抓取

Question

我正在嘗試抓取一個網站，該網站要求用戶分享他們的位置，以便它根據客戶所在的國家/地區調整內容。

為此，當我使用 Firefox 訪問該站點時，會顯示一個瀏覽器彈出窗口，要求獲得該權限。

使用 Python 抓取時，我使用 urllib 打開網站。 有什么方法可以發布或發送我的坐標，以便獲得正確的地理定位網站？

謝謝。

BR,

d.

Answer 1

通過瀏覽網站手動匯總您的數據。 然后在瀏覽器的開發人員工具中檢查您的發布請求。 將該信息與data一起存儲在如下所示的字典中。

data = { "text": text }

然后使用它來發出帖子請求。 req=urllib2.Request(url,urllib.urlencode(data), headers)

然后得到你的回應。

response = urllib2.urlopen(req).read()