当只能通过按钮访问数据时，如何从网站上抓取数据？

Question

我想从Java应用程序中的网站上抓取数据。 我要收集的数据在html-table-element内部。 我尝试了两种不同的方法：

1. 我试图将带有BufferedReader的网站加载到字符串中，并从字符串中收集数据。
2. 我尝试使用Jsoup来访问确切的html元素，但是它是空的。

原来该表存在，但是只要用户没有按下按钮（标记为“加载原始数据”），它就为空。 我检查了网页的源代码。 当用户按下按钮时，将调用load_table（）函数，该函数将数据加载到表中。 显然，URL保持不变，否则我可以使用已经将数据加载到表中的其他URL。 有没有人知道如何从网站上抓取数据，尽管只有在网站加载后用户按下按钮，该数据才在网站上？

我并不是真正的受过训练的Javascript编码者，但是我尝试浏览用户按下按钮后执行的脚本。 对我来说有点难以理解，但是我对脚本进行了粘贴 ，并加了一个突出显示，如果有帮助，我认为将行添加到表中。 该按钮的代码是：

<a href="#" onClick="load_table();return false;">Load raw data</a>

我使用Jsoup访问html元素的代码将是（在不同的div元素上调用了所有child（x）方法，以更深入地进入html文档，直到我最终到达表元素）：

Jsoup.connect(url).get().body().children().get(5).child(0).child(4).child(1).child(1);

如前所述，该元素为空。 我希望对我的问题的描述足够详细，并且至少有人对我要说的东西有所了解。 对不起，我的表情笨拙。 不是母语。

Answer 1

如果您熟悉selenim webdriving，则可以使用selenium加载页面，然后将其传递到beautifulSoup参数传递到源页面。 html = pageSource（）您可以通过此方法解析页面