搜索结果后，屏幕抓取/网络抓取网址不变

Question

我正在开发一个网络抓取项目，我需要我的“开始”页面来开始抓取。

当导航到这样的URL时： http : //www.blah.com/search.aspx ，我输入了数据（因为我想将搜索结果页面传递给屏幕抓取程序）。 搜索结果（页面）返回时，URL不变。

如何从搜索结果页面获取URL，或者模仿“搜索”以在屏幕抓取程序中获取搜索结果页面？

Answer 1

经过更多的谷歌搜索发现了这一点（它有助于使用正确的关键字）。

我已经在使用HtmlAgilityPack，它只是提供了有关如何启动帖子和阅读结果的更多见解。

http://refactoringaspnet.blogspot.com/2010/04/using-htmlagilitypack-to-get-and-post.html