仅生成未提取的网址，而不是获得评分的Nutch 2.3

Question

有什么方法可以只生成未提取的网址，而不是基于Nutch 2.x中的分数吗？

Answer 1

好吧，对于Nutch 1.x，您可以使用自Nutch 1.12以来提供的jexl支持（我认为）：

$ bin/nutch generate -expr "status == db_unfetched" 

使用此命令，可以确保仅考虑具有db_unfetched状态的URL来生成要爬网的段。

此功能在2.x分支上仍然不可用，但是编写自定义GeneratorJob可以解决问题。

另一方面，由于生成器Job已经在考虑分数以对要获取的URL列表进行排序，因此可能更简单的方法是编写自定义ScoringFilter 。

例如，如果您看一下： https : //github.com/apache/nutch/blob/2.x/src/java/org/apache/nutch/scoring/ScoringFilter.java#L69-L81 ScoringFilter已经提供了generatorSortValue方法，该方法仅用于为生成器作业生成评分值，因此您可以编写自己的方法来提升未获取状态的URL。