使用Python解析動態網頁

Question

我試圖解析一個網頁，當我按箭頭鍵獲取下拉列表時，其html源代碼會更改。 我想解析該下拉列表的內容。 我怎樣才能做到這一點？

問題的示例：如果您訪問此站點： http : //in.bookmyshow.com/hyderabad並選擇comboBox“選擇電影”上的箭頭按鈕，則會出現電影的下拉列表。 我想得到這些電影的清單。

提前致謝。

Answer 1

包含用於填充下拉框的數據的實際URL在此處：

• http://in.bookmyshow.com/getJSData/?file=/data/js/GetEvents_MT.js&cmd=GETEVENTSWEB&et=MT&rc=HYD& = 1425299159643＆ = 1425299159643

不過，我會有點小心，請仔細檢查網站的使用條款，或者是否可以使用任何API。

Answer 2

您將需要深入研究JavaScript以查看如何填充該菜單。 如果通過AJAX填充了該內容，則可以通過對同一URL重新執行請求來獲取該內容（例如，對“ http://www.example.com/get_dropdown_entries.php ”執行GET） 。

Answer 3

您可能想看看硒 。 由於它還使用瀏覽器（Firefox，Chrome等），因此它可以使復制步驟完全相同。

Ofc，它的速度不如使用機械化，urllib，beautifulsoup和所有這些工具，但是值得一試。