如何将网站数据抓取到Excel工作表中？

Question

我是一名新手程序员，试图汇编所有inc5000公司及其行业，位置，收入和首席执行官的Excel列表。 我有什么办法可以自动执行此操作，这样我就不必手动输入全部5000吗？

一些问题：

-inc5000列表在一个页面上仅显示50家公司，并且滚动到下一页不会更改URL。 我尝试将URL转换为HTML，但实际上没有任何元数据显示在HTML代码中（我使用了https://try.jsoup.org/~LGB7rk_atM2roavV0d-czMt3J_g ）。

-我需要的所有信息都在此滚动页面（ https://www.inc.com/profile/loot-crate ）上，但是随着页面的深入，每个公司的URL都会改变。 有什么方法可以从该站点获取数据而无需手动更改5000个URL？

我真的是编程新手，而且几乎不了解HTML / JavaScript / Web设计-我只知道基本的Java。 我非常感谢您提供的任何帮助或潜在的解决方案。

Answer 1

这是简单的方法：

转到页面，单击f12，转到调试工具的“网络”选项卡，选择XHR（仅过滤数据调用），然后滚动到页面底部。 该页面查询每个公司，您可以在调试工具中访问该公司。

在拥有所有页面之后，您可以在左侧突出显示文件名列表中的所有行，右键单击并将其保存到.har文件。

从那里，只需编写一个脚本以提取json，就可以设置好了。