如何使用由 Javascript 函数生成的 Ruby 抓取数据？

Question

我想刮从最新的日期，这是该表的第一行，从数据的URL链接此页面。 表格的内容似乎是由 JavaScript 函数生成的。

我尝试使用 Nokogiri 来获取它，但 Nokogiri 无法抓取 JavaScript。 然后，我尝试仅使用 Nokogiri 获取脚本部分：

url = "http://www.sgx.com/wps/portal/sgxweb/home/marketinfo/historical_data/derivatives/daily_data"
doc = Nokogiri::HTML(open(url))
js = doc.css("script").text
puts js

在输出中，我找到了我想要的类名sgxTableGrid的表。 但是，问题是 JavaScript 函数中没有关于数据 URL 链接的线索，并且一切都是动态生成的。

有人知道解决这个问题的更好方法吗？

Answer 1

查看该页面的 HTML，该表是由作为 JavaScript 请求结果接收到的 JSON 生成的。

您可以通过向后追溯页面的源代码来弄清楚发生了什么。 如果您想在 JavaScript 之外检索 JSON，则需要以下一些内容，但仍然需要做一些工作来实际使用它：

1. 从这段代码开始：

    require 'open-uri' require 'nokogiri' doc = Nokogiri::HTML(open('http://www.sgx.com/wps/portal/sgxweb/home/marketinfo/historical_data/derivatives/daily_data')) scripts = doc.css('script').map(&:text) puts scripts.select{ |s| s['sgxTableGrid'] }

   在编辑器中查看文本输出。 搜索sgxTableGrid 。 你会看到这样一行：

    var tableHeader = "<table width='100%' class='sgxTableGrid'>"

   再往下看一点，你会看到：

    var totalRows = data.items.length - 1;

   data来自被调用函数的参数，这就是我们开始的地方。

2. 获取包含函数名称loadGridns_的唯一部分并搜索它。 每次找到它，查找参数data ，然后查看data定义的位置。 如果它被传递到该方法中，那么搜索以查看调用它的内容。 重复这个过程，直到你发现变量没有被传递到函数中，那时你就会知道你在创建它的方法上。

3. 我发现自己在一个以loadGridDatans开头的函数中，它是执行xhrPost调用以检索 URL 的块的一部分。 该 URL 是您要查找的目标，因此获取包含函数的名称，并循环传递传入 URL 的调用，就像您在上述步骤中所做的那样。

4. 该搜索最终出现在如下所示的行上：

    var url = viewByDailyns_7_2AA4H0C090FIE0I1OH2JFH20K1_...

5. 此时，您可以开始重建所需的 URL。 打开一个 JavaScript 调试器，比如 Firebug，并在该行上放置一个断点。 重新加载页面，JavaScript 应该会在该行停止执行。 单步执行，或设置断点，并观察创建的url变量，直到它处于最终形式。 那时，您可以在OpenURI使用一些东西，它应该检索您想要的 JSON。

注意，它们的函数名可能是动态生成的； 我没有查看，所以尝试使用函数的全名可能会失败。

他们也可能正在序列化日期时间戳或使用序列化的会话密钥以使函数名称唯一/更不透明，这样做的原因有很多。

尽管把这些东西拆开很痛苦，但它也是关于动态页面如何工作的一个很好的教训。