Eclipse中的Nutch错误

Question

我正在尝试从Eclipse运行Apache Nutch 。 我按照http://wiki.apache.org/nutch/RunNutchInEclipse上的说明进行操作。 但是，“ parse-html”的源（java和test）都有错误。 无论如何我都运行它，它从seed.txt中读取并获取URL，并返回此错误：

Fetcher: finished at 2012-03-31 17:21:56, elapsed: 00:00:07
ParseSegment: starting at 2012-03-31 17:21:56
ParseSegment: segment: crawl/segments/20120331172142
Exception in thread "main" java.io.IOException: Job failed!

我想指出的是，我的目标是从Nutch获取索引并将其存储在MongoDB中 。

Answer 1

将以下内容添加到ivy.xml ：

<dependency org="rome" name="rome" rev="0.9" />
<dependency org="net.sourceforge.nekohtml" name="nekohtml" rev="1.9.13" />
<dependency org="org.ccil.cowan.tagsoup" name="tagsoup" rev="1.2.1" />

Answer 2

我遇到了同样的问题。 以下两种方法可能会有所帮助：

• 修改conf / log4j.properties文件以报告DEBUG消息；
• 读取hadoop.log文件，该文件通常位于$ NUTCH_HOME或$ NUTCH_HOME / logs中。

通过检查这些消息，您应该能够发现问题。

这是有关在Eclipse中运行Nutch的教程，还讨论了一些错误处理。

Answer 3

我找到了3个jar，并将它们作为外部jar添加到项目中，并且可以正常工作。 这些罐子是： cyberneko.jar ， rome-0.9.jar和tagsoup-1.2.jar ，您可以通过简单的Google搜索找到所有这些罐子。