如何使用 VB.net 獲取 html 頁面的源代碼？

Question

我正在編寫一個程序來獲取 web 頁面的源代碼，上面有視頻。 然后它使用正則表達式來隔離該視頻的下載鏈接。 然后它使用httpwebrequest和httpwebresponse下載視頻。 當某些網站有一個頁面，您必須單擊繼續才能進入視頻頁面時，我的問題就出現了。

For example, there is a video playing on http://nextgenvidz.com/view/s995xvc9e2fv called " The.Matrix.Reloaded.2003.mp4 " so I tell my program to get the source code for the url " http:// nextgenvidz.com/view/s995xvc9e2fv " 但它找不到視頻的下載鏈接，因為它正在“繼續”頁面的源代碼中搜索文件。 如果您 go 到上面的那個網站並查看源代碼，您將看不到鏈接。 然后，單擊繼續並在視頻出現時執行相同操作，您會注意到該文件僅在第二個中存在。

如何獲取正在播放視頻的頁面的源代碼，而不是我必須單擊繼續的頁面？

我正在嘗試使用此代碼：

Private Sub Button1_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button1.Click
    Dim Loading As String = "Loading..."
    TextBox1.Text = Loading
    Dim request As System.Net.HttpWebRequest = System.Net.HttpWebRequest.Create(TextBox2.Text)
    Dim response As System.Net.HttpWebResponse = request.GetResponse()

    Dim sr As System.IO.StreamReader = New System.IO.StreamReader(response.GetResponseStream())

    Dim sourcecode As String = sr.ReadToEnd()
    TextBox1.Text = sourcecode
End Sub

也許有辦法以編程方式自動 select “繼續”按鈕？

Answer 1

這個人回答的很好。

如何獲取 VB.NET 中網站的 HTML 頁面源？

這是他的代碼：

Dim sourceString As String = New System.Net.WebClient().DownloadString("SomeWebPage")

Answer 2

Dim PictureURL As String = "http://www.bing.com" + New System.Net.WebClient().DownloadString("http://www.bing.com/HPImageArchive.aspx?format=rss&idx=0&n=1&mkt=de-DE").Replace("<link>", "|").Replace("</link>", "|").Split("|")(3)

Answer 3

我過去曾嘗試寫過類似的東西，但發現存在許多限制（瀏覽器或協議本身）以防止自動化。 創建一個通用的網站解析器是不可能的。 您必須根據各個站點對您隱藏內容的方式編寫解析例程。 您首先必須確定每個站點如何向用戶隱藏內容的模式，然后為每個模式實現實際解析（模式可以是帶有視頻目標的 ling，或者是彈出另一個 window 的按鈕與內容視頻，或者執行 javascript 的按鈕，該按鈕將視頻動態加載到當前窗口中）