搜索結果后，屏幕抓取/網絡抓取網址不變

Question

我正在開發一個網絡抓取項目，我需要我的“開始”頁面來開始抓取。

當導航到這樣的URL時： http : //www.blah.com/search.aspx ，我輸入了數據（因為我想將搜索結果頁面傳遞給屏幕抓取程序）。 搜索結果（頁面）返回時，URL不變。

如何從搜索結果頁面獲取URL，或者模仿“搜索”以在屏幕抓取程序中獲取搜索結果頁面？

Answer 1

經過更多的谷歌搜索發現了這一點（它有助於使用正確的關鍵字）。

我已經在使用HtmlAgilityPack，它只是提供了有關如何啟動帖子和閱讀結果的更多見解。

http://refactoringaspnet.blogspot.com/2010/04/using-htmlagilitypack-to-get-and-post.html