使用 Python 使用 Javascripts 函数抓取网页

Question

我需要从网页中检索一些信息。 该页面就像一个powerpoint：几张幻灯片一张一张地显示。 要从一张幻灯片移动到另一张幻灯片，您必须按下一个按钮，该按钮运行一个 js 函数“ load_image_btn('plus') ”，它会更改图像。 URL完全一​​样，HTML代码只改变了img“ someurl/546 ”的URL。

有什么方法可以从 python 迭代执行该函数，以便我可以获得所有图像？

Answer 1

处理 Javascript 引起的问题的一种通用方法是使用无头浏览器完全执行每个页面，然后从那里抓取。

在我的上一个类似项目中，我使用了一项服务，该服务提供了可通过 API 控制的无头 Web 浏览器实例，即https://scrapinghub.com/splash 。

但我相信有很多选择。