Apache Nutch 2.3.1光学评分过滤器不起作用

Question

我已经在小型集群上为Nutch 2.3.1配置了完整的Hadoop / Hbase生态系统。 我对Nutch中使用的评分算法感到好奇。 我在Nutch中找到并使用了光学计分滤镜。 为了找到其影响，我按照Nutch WIKI的指导在Nutch IN的不同步骤（dbupdate并生成阶段）检查分数。 但是我发现，无论我运行多少次迭代以及获取多少个文档，每个文档分数始终保持为零。 opic实施中是否存在问题，或者我缺少某些配置。

我观察到，包含现金的_csh_字段在访存阶段从Hbase中的相​​应表中删除。

Answer 1

我已经通过将更改放入OPICScoringFilter.java解决了该OPICScoringFilter.java

src / plugin / scoring-opic / src / java / org / apache / nutch / scoring / opic / OPICScoringFilter.java

我已将其放在Markers中作为UTF8。

-    row.getMetadata().put(CASH_KEY, ByteBuffer.wrap(Bytes.toBytes(score)));
+    row.getMarkers().put(CASH_KEY, new Utf8(Double.toString(score)));