我想创建一个 webscraper，它将从 angular 网站抓取 html

Question

我正在开发一个可以从有角度的网站上抓取的网络抓取工具。

我为此目的使用 HttpClient 类，但不是在页面的 body 标记中获取 html 标记，而是获取<ng-view> </ng-view>标记。 谁能解释发生了什么，我怎样才能得到 HTML 代码而不是ng-view标签？

Answer 1

据我所知，这是不可能的。 您所能“抓取”的只是提供给浏览器的初始标记。 所有其他内容都将通过运行 JavaScript 获取，该 JavaScript 会回调服务器以获取其他数据。

除非您准备编写一个完整的、功能齐全的 JavaScript 引擎，否则我会说初始页面就是您所获得的全部内容。