用cheerio和nodejs抓取数据

Question

我使用cheerio模块从网站上删除产品列表。 但是有问题，网站使用“无限滚动”来加载数据（向下滚动时数据加载更多）。 所以，cheerio无法获得所有产品。

有人可以建议我解决这个问题吗？ 谢谢。

Answer 1

您可以查看滚动时页面执行的查询类型。 然后自己点击这些查询并获取数据。

或者你可以尝试使用类似node-phantom-simple的东西，通过Phantom和scrape触发滚动。

我会自己选择第一个选项。