在使用请求和 beautifulsoup 抓取页面时接受 cookies

Question

我做了一个脚本，在许多不同的页面上跟踪产品的价格。 问题是某些网站使用 cookies，您必须单击接受 cookies 才能看到价格。

这可能无济于事，但这是瑞典语的网站，所以你们中的许多人都不会理解。

如何在 web 刮擦时接受 cookies？

Answer 1

没有 cookies 参与请求。 我觉得你不应该在执行 get 或 post 请求时遇到任何问题。

编辑：试试这段代码：

r = requests.get('https://www.google.com/')

with open('test.html', 'w') as f:
    f.write(r.text)
    f.close()

在 web 浏览器中运行test.html文件并尝试查看差异。 test.html是您的代码所看到的，这与普通人在具有完整 GUI 的 web 浏览器中看到的不同。

Answer 2

当你抓取一个网站时，你不必接受那些 cookies。 但是，如果您想接受，则只需单击网站上的“接受按钮”即可。 您可以使用以下方法执行此操作：

• 点击 Selenium

右键单击网站获取 X-Path 并检查 cookie 按钮。