高流量網站中的WWW :: Mechanize :: Firefox

Question

我有一個網站，我希望用戶輸入搜索詞，然后抓取其他兩個網站，並向用戶顯示一些解析結果。

由於兩個網站都使用大量JavaScript返回數據，因此我想到了使用WWW::Mechanize::Firefox 。

是否可以同時運行幾個使用WWW::Mechanize::Firefox的腳本實例？

Answer 1

是的，可以按照您的描述進行操作； 但是互聯網不是數據庫。

您是否已向您希望使用的網站所有者尋求許可？ 我當然不同意第三方對我的帶寬和網站內容的無限使用。

這將是一個更負責任的系統（並且更容易實現），通過該系統，您可以通過協議收集每天需要的信息（例如每天一次）並將其存儲在數據庫中。 之后，您可以直接從您自己的資源中顯示您自己的用戶要求的信息。