C# - 从 URL 获取内容

Question

如何从带有linkedin 网站的URL 获取内容，当我提供带有EmailID 的URL 时，我需要获取HTML 代码，如下所示。 但是，当我尝试使用代码访问 URL 时，出现了登录到linkedin 的问题。 我尝试使用此 C# 代码，但出现登录问题

string Url = "https://www.example.com/sales/gmail/profile/viewByEmail/" + 
        TextBox1.Text;//example@gmail.com
        HtmlWeb web = new HtmlWeb();
        ServicePointManager.Expect100Continue = true;
        ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12;
        HtmlDocument doc = web.Load(Url);
        HtmlNode[] nodes=doc.DocumentNode.SelectNodes("//div").ToArray();

任何人都可以帮助我如何通过登录获取 html 代码，提前致谢。

Answer 1

该错误会告诉您问题的确切原因 - 您需要登录。这里有 2 个解决方案：

1. 只需将一个按钮连接到登录页面。 这是 hacky 解决方案，我不以任何方式推荐它。 话虽如此，这与您当前的代码一致。
2. 使用 API，而不是使用 Selenium。 我不确定你为什么需要 Selenium：看来你只想要来自 LinkedIn 的数据。 如果这就是您要查找的内容，则需要使用LinkedIn API 。 如果您打算自己处理信息，那么这是从 LinkedIn 中提取信息的正确方法。

我不知道您的要求，也许您确实需要浏览器中的网站。 但在我看来，您似乎需要他们的 API。 阅读它的一些教程，它可能比尝试在 Selenium 中处理网站更好地执行您的任务。

Answer 2

基本上，如果您想操作登录表单，您需要一个浏览器。 您可以尝试使用无头浏览器，如PhantomJS或 CasperJs。 在自定义到您的链接页面之前，您可以尝试使用大量文档和示例。 无头浏览器的工作方式与普通浏览器类似，可让您编写代码使其自动化。