按下按鈕后如何訪問網頁的HTML

Question

我正在嘗試從以下網頁中抓取一些數據：

大學理事會-喬治亞理工學院

但是，僅在按下左側的“應用”標簽后，才會顯示我需要訪問的信息。 由於URL不變，我如何模擬按下按鈕以抓取HTML？

我正在使用Python3.3和請求模塊。

Answer 1

根據頁面來源，您需要的信息隱藏在javascript代碼內，並在單擊“應用”鏈接后進行計算和呈現。

requests根本無法在瀏覽器中執行用戶操作，並且由於在單擊“應用”之后沒有其他請求，因此如果沒有真正的瀏覽器來運行該js代碼，就無法獲取數據。 機械化也無濟於事，因為它無法處理js。

考慮使用硒 （僅供參考，您也可以使用無頭PhantomJS瀏覽器 ）。

希望能有所幫助。