如何在使用 MVC .net 登录后使用 Web Scraping，如果登录 API 不可用

Question

我必须使用 MVC .net 实现 Web Scraping，但首先我必须登录到第二个站点以获取数据（如登录到管理员），其中 API 无法登录。

例如，我必须从https://talent.stackoverflow.com/users/login抓取数据，但登录后我想从用户页面获取数据。 如果我有凭据，是否可以在通过 MVC .Net 登录后从此 url 中抓取数据。

Answer 1

如果您打算制作一个爬虫，那么您需要继续编写任何客户端脚本。

我建议您，如果您对数据抓取有任何想法，请继续使用PhantomJs或CasperJs，因为它提供了许多功能，尤其是抓取功能。

例如，CasperJs 将流程执行一一识别。 假设您登录到任何网站，您需要等待响应，而不是 CasperJs 提供“then”功能来确定响应。

让我们再举一个例子，如果您点击了许多请求，并且网站可能会在这种情况下提供验证码屏幕以输入验证码代码，您可以截取该屏幕并在运行时处理验证码。