具有“無限滾動”頁面的httpwebrequest？

Question

某些網站（例如Facebook）僅加載一定數量的頁面，直到您向下滾動到末尾為止，然后它們才加載更多數據。 有沒有一種方法可以使用HTTPWebRequest檢索所有（或更多）數據，而無需滾動到底部即可正常顯示這些數據？

如果我做類似的事情：

HttpWebRequest r =  (HttpWebRequest)WebRequest.Create("www.facebook.com");
HttpWebResponse resp = (HttpWebResponse)r.GetResponse();

響應只會顯示您訪問該網站並且根本沒有向下滾動時顯示的有限數據。

希望這有道理，我可能可以措辭更好。

如何從請求中獲取更多數據？

Answer 1

WebRequest在這里無濟於事。 這樣的站點取決於用戶交互（例如滾動）來決定獲取更多數據。

您可以使用WebBrowser控件並與網站實際進行交互。 這是唯一的方法，除非有一個API可顯式獲取數據。

---

考慮您要使用HttpWebRequest。 此類將請求發送到Web服務器並獲得響應。

您需要問的問題是“什么請求被發送到Web服務器以使頁面使用無限滾動”？ 答案是，“ 沒有發送到迫使無限滾動的請求”。 事實是，您已滾動到底部使下一頁出現。