使Jsoup支持JavaScript動態生成的html

Question

現在，我正在研究網絡爬蟲。 這個應該解析一些特定的站點，並給我輸出到xml文件中。 至此，這沒有問題。 搜尋器有效，您可以通過cfg文件快速真正地對其進行自定義。 我使用Jsoup解析HTML內容。

我剛剛添加了幾個站點，並注意到通過JavaScript創建的HTML內容存在很大的問題。 沒有辦法使Jsoup支持Javascript嗎？ 或至少獲得我可以在瀏覽器中看到的完整HTML內容。

我已經嘗試過HtmlUnit，但是這個做得不好。 它沒有給我我在瀏覽器中獲得的內容。

真誠的

奧戈佛

Answer 1

Jsoup不支持javascript，並且不模擬瀏覽器。 如果您打算執行Javascript，就不用管它了。 以我的經驗，HtmlUnit是一個無頭的瀏覽器，它給了我最好的結果（總是談論Java框架）。

在HtmlUnit中BrowserVersion嘗試的一件事是在創建WebClient實例時更改BrowserVersion （Chrome / InternetEplorer / FireFox）。 有些網站的反應方式不同， 有時只是更改該值可能會給您帶來預期的結果。