抓取 IE 窗口

Question

我正在开发与两个系统接口以加载/存储数据的系统。

1. 一个古老的终端程序，它使用第 3 方 DLL 来桥接 .NET 和这个系统，发送击键并接收它们。 这部分没有问题，因为技术很清楚。

2. 一个 128 位 SSLed 网络应用程序，从一个网站在它自己的窗口中启动。 它没有运行在任何 Java 中，只是 HTML 和一点点 JavaScript。

   我想以某种方式抓取此窗口的内容，以便我可以访问其中可用的文档。 至少，这将等待用户导航到正确的页面，然后单击我编写的应用程序中的按钮，然后它会去寻找正确的窗口，解析当前页面的源代码并下载文件.

   在理想情况下，它从一开始就是自动化的，只需用户在我的应用程序中单击一次即可导航到正确的页面、登录并下载文档。

使用免费组件的商业广告，#2 在任何程度上都可行吗？

Answer 1

您想要的很难实现，如果您不针对特定的浏览器供应商（如 FF 或 Chrome 等），则更是如此。

建议：

1）使用System.Net.WebClient直接从webserver下载源代码。

2) 如果您需要一些不能（或者您不想）通过某些自动化代码模拟的用户交互，您可以使用webkitdotnet 之类的项目，然后您可以创建一个内置浏览器的 WinForm 应用程序。 您将拥有对该浏览器内容的完全访问权限。

Webkitdotnet 项目页面：http: //sourceforge.net/projects/webkitdotnet/

Answer 2

如果浏览器是 Internet Explorer（我正在阅读问题标题），只需引用这个Microsoft Internet Controls COM库：

然后我做了这样的抓取：

var internetExplorerShells = new SHDocVw.ShellWindows();

string html = null;
foreach (SHDocVw.InternetExplorer ie in internetExplorerShells)
{
    if (ie.Document != null)
    {
        var url = ie.LocationURL;

        // If the Internet Explorer Address contains _configuration.ScrapingUrl
        if (CultureInfo.InvariantCulture.CompareInfo.IndexOf(
            url,
            _configuration.ScrapingUrl,
            CompareOptions.IgnoreCase) >= 0)
        {
            html = ie.Document.Body.OuterHtml;
            if (html != null)
                break;
        }
    }
}

然后只需通过 NuGet 安装HTMLAgilityPack并开始抓取 html：

var htmlDocument = new HtmlDocument();
htmlDocument.LoadHtml(html);