可以請求python庫在存儲該頁面的內容之前強制頁面加載所有javascript動態內容

Question

Beautifulsoup通常可用於（1）將頁面內容存儲在變量中，以及（2）解析網頁中的元素。

但是它上面的Beautifulsoup本身無法打開 - 密碼保護的HTTP錯誤403頁。 所以我使用了這個任務的請求。

現在我想知道Requests庫是否能夠強制加載頁面上的javascript？

我正在使用python2.7

請求是否具有request.open（some url）.forceJavascriptLoad的能力

Answer 1

不可以。請求無法以任何方式執行javascript。 你需要一個所謂的“無頭”網絡瀏覽器來做你想要的。 這是其中一些列表。 作為建議，我建議你嘗試使用PhantomJS ，雖然它不是用Python編寫的，但它有幾個優點：

1. 它易於設置和使用
2. 像許多其他無頭瀏覽器一樣積極開發而不是放棄
3. 有非常好的JavaScript支持
4. 很快
5. 提供預編譯的二進制文件，以防您在編譯內容時遇到問題

我自己嘗試了很多無頭瀏覽器，我對PhantomJS感到滿意。 如果您仍想嘗試基於Python的無頭瀏覽器，可以嘗試使用Ghost 。