使用Nutch如何抓取uisng ajax的網頁的動態內容？

Question

我正在使用Apache Nutch 1.10來抓取網頁並提取頁面中的內容。 一些鏈接包含在ajax調用時加載的動態內容。 Nutch無法抓取並提取ajax的動態內容。 我怎么解決這個問題？ 有什么解決方案嗎？ 如果是，請幫助我解答。

提前致謝。

Answer 1

大多數Web爬網程序庫都不提供開箱即用的javascript呈現。 您通常必須插入另一個提供js渲染的庫或產品，如Selenium或PhantomJS。

這是一個使用nutch和Selenium的教程 。

Answer 2

查看最新的Nutch 1.11主干，其中包括一個新的插件協議 - 交互式硒。 （ https://github.com/apache/nutch/tree/trunk/src/plugin/protocol-interactiveselenium ）

這個插件允許你編寫自己的處理程序並執行javascript來獲取動態內容。