使用 Python 使用 Javascripts 函數抓取網頁

Question

我需要從網頁中檢索一些信息。 該頁面就像一個powerpoint：幾張幻燈片一張一張地顯示。 要從一張幻燈片移動到另一張幻燈片，您必須按下一個按鈕，該按鈕運行一個 js 函數“ load_image_btn('plus') ”，它會更改圖像。 URL完全一​​樣，HTML代碼只改變了img“ someurl/546 ”的URL。

有什么方法可以從 python 迭代執行該函數，以便我可以獲得所有圖像？

Answer 1

處理 Javascript 引起的問題的一種通用方法是使用無頭瀏覽器完全執行每個頁面，然后從那里抓取。

在我的上一個類似項目中，我使用了一項服務，該服務提供了可通過 API 控制的無頭 Web 瀏覽器實例，即https://scrapinghub.com/splash 。

但我相信有很多選擇。