使用 Node.js 抓取网页

Question

我想知道是否有人可以给我一个如何使用 Node.js 抓取多个页面的示例？ 我正在网上查找示例，但我想抓取搜索结果网页。 然后，如果有一个“下一步”按钮可以移到下一页并查看更多结果，我想移到下一页并将其刮掉。

有没有人做过类似的事情？

谢谢！

Answer 1

我使用nightmare.js管理这样的工作。 它让你click('#someElement')和wait('#someElement') ，使用evaluate获取这些操作之间的页面内容。 它必须是网站，让你这样做，请注意您可能需要while使用nightmare.exists或for使用页数，对于您可能需要使用的查询选择，可以让所有指定的元素，如document.querySelectorAll('.nextPageElement').length （使用querySelectorAll ）来获得该计数。 只需尝试在需要时继续使用变量提升，不要陷入回调地狱，然后 nightmare.js 将完成这项工作。