簡體   English   中英

asp.net C#獲取網頁的最終頁面來源

[英]asp.net C# get final page source of a webpage

我正在嘗試獲取網頁的最終來源。 我正在使用webclient openRead方法,但是此方法僅返回初始頁面源。 在下載源代碼之后,有一個JavaScript可以運行並以另一種格式收集我需要的數據,而我的方法將尋找完全改變的東西。 我在說的就像之間的區別一樣:

  1. 右鍵單擊網頁->選擇查看源
  2. 訪問開發人員工具

查看此站點以了解我在說什么: http : //www.augsburg.edu/history/fac_listing.html,並觀察如何使用每個選項顯示任何電子郵件。 我認為發生的是,第一個將向您顯示頁面的初始負載。 第二個將向您顯示最后一頁html。 網絡客戶端只允許我執行選項#1。

這是僅返回選項#1的代碼。 哦,我需要從控制台應用程序執行此操作。 謝謝!

private static string GetReader(string site)
{
    WebClient client = new WebClient();
    try
    {
        data = client.OpenRead(site);
        reader = new StreamReader(data);
    }
    catch
    {
        return "";
    }
    return reader.ReadToEnd();
}

我已經找到解決問題的辦法。 我最終使用了Selenium-WebDriver PageSource屬性。 效果很好!

了解有關Selenium和Webdriver的信息。 這是一件容易學習的事情。 它有助於測試,並為此!

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM