抓取需要觸發javascript的外部網站

Question

由於phantomjs被放棄，我想知道是否還有其他方法。 例如chrome-webdriver並不是一個好的解決方案，因為它無法在諸如heroku之類的遠程主機上運行。

因此，是否有可能以某種方式抓取需要首先觸發javascript的外部網站？ 注意，應該可以從nodejs應用程序運行它。

Answer 1

我已經准備好為您准備一些東西，然后我想到了更好的方法並用谷歌搜索了它。 查看此構建腳本； 它似乎完全可以回答您的問題。

https://github.com/stomita/heroku-buildpack-phantomjs

設置一個git分支，如果需要的話，將其拉到本地，但這應該可行。 基本上，您需要下載二進制文件，然后遠程下載並運行“ heroku run'phantomjs'”或“ heroku run'bin / phantomjs'”