如何阅读Nutch索引的内容？

Question

我可以使用Nutch抓取并索引网页，但我不知道如何读取索引并从中提取数据。

任何人都可以向我介绍一些阅读索引的有用工具吗？

我想添加一个中文语言分析器和一个IndexFilter插件，所以我想读取索引来验证我的插件。 而且，我想用我使用Java抓取的数据做一些处理。

Answer 1

使用luke工具浏览nutch索引。 dump index选项可以为整个索引创建一个xml文件。 如果你必须通过代码完成，那么你需要学习lucene。

要阅读已爬网的内容，请使用nutch segment reader 。

Answer 2

您可以使用提供的读取命令

bin/nutch readseg xxx

阅读内容。

希望这会对你有所帮助。