从C＃桌面应用程序调用ASP.NET脚本

Question

我正在尝试开发一个桌面应用程序以用作网站抓取工具。 我的要求是用户应该能够在桌面应用程序中指定一个URL。桌面应用程序应该能够调用asp.net脚本从网站抓取数据并将记录返回到桌面应用程序。

我应该为此使用Web服务还是ASP.NET运行时... ???

任何帮助表示赞赏:)

额外细节

抓取活动已经完成。我使用了HTMLAgility pkg。 这是我的抓取代码，用于从网页中提取公司名称列表。

public static String getPageHTML(String URL)
        {
            String totalCompanies = null;
            HttpWebRequest httpWebRequest = (HttpWebRequest)HttpWebRequest.Create(URL);

            IWebProxy myProxy = httpWebRequest.Proxy;

            if (myProxy != null)
            {
                myProxy.Credentials = CredentialCache.DefaultCredentials;
            }

            httpWebRequest.Method = "GET";

            HttpWebResponse res;

            res = (HttpWebResponse)httpWebRequest.GetResponse();

            HtmlDocument doc1 = new HtmlDocument();

            doc1.Load(res.GetResponseStream());

            HtmlNode node = doc1.DocumentNode.SelectSingleNode("//td[@class='mainbody']/table/tr[last()]/td");

            try
            {
                totalCompanies = node.InnerText;
                return totalCompanies;
            }
            catch (NullReferenceException e)
            {
                   totalCompanies = "No records found";
                    return totalCompanies;

             }




        }

Answer 1

您可以在桌面应用程序中使用HttpWebRequest ，我之前已经这样做过（winforms）。 例如： -

HttpWebRequest req = (HttpWebRequest)WebRequest.Create("url");
var response = new StreamReader(req.GetResponse().GetResponseStream()).ReadToEnd();

然后，您可以使用HtmlAgilityPack从响应中解析数据：

 HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
 doc.LoadHtml(response);

 //Sample query
 var node = doc.DocumentNode.Descendants("div")
           .Where(d => d.Attributes.Contains("id")).ToList(); 

Answer 2

（包含更多详细信息/更具体会有所帮助）

如果您的ASP.NET页已经完成所有抓取操作，并且您需要做的就是访问该ASP.NET页，则只需使用HttpWebRequest

http://msdn.microsoft.com/zh-CN/library/456dfw4f.aspx-简短说明和教程

如果该URL是要废弃的网站，并且您需要在项目中包含该ASP.NET脚本，则需要将其添加为Web服务。

Answer 3

您既可以做到这一点，也可以通过将Web浏览器添加到桌面应用程序来做到这一点。 我不知道为什么，但是结果要快得多。