在Ruby中获取完整的HTML页面（包括AJAX响应）

Question

我正在尝试抓取电子商务目录，其中使用Ajax响应加载产品数据。

因此，使用get请求响应的内容不完整（部分数据）。

我正在使用Ruby的默认HTTP库进行提取，并使用Nokogiri进行解析。

有什么方法可以延迟一段时间后发起请求并记录响应？

Answer 1

由于使用了ajax，因此您需要一个具有JavaScript引擎来执行javascript的库/方法/方式（如果您想使其自动完成）。

您可以为此使用无头浏览器，例如phantomjs：

PhantomJS项目主页

PhantomJS for Ruby

维基文章

基本上，这是没有前端的普通浏览器。 PhantomJS使用Webkit引擎（例如Safari使用的）。 因此，它能够执行JS，因此也可以执行AJAX。