Apache Mahout中的WrongValueClass

Question

我已经使用mahout编写了mapreduce程序。 地图输出值为ClusterWritable 。当我在eclipse中运行代码时，它运行没有错误，但是当我在终端中运行rhe jar文件时，它显示异常：

java.io.IOException: wrong value class: org.apache.mahout.math.VectorWritable is not class org.apache.mahout.clustering.iterator.ClusterWritable
at org.apache.hadoop.io.SequenceFile$Writer.append(SequenceFile.java:988)
at org.apache.hadoop.mapreduce.lib.output.SequenceFileOutputFormat$1.write(SequenceFileOutputFormat.java:74)
at org.apache.hadoop.mapred.MapTask$NewDirectOutputCollector.write(MapTask.java:498)
at org.apache.hadoop.mapreduce.TaskInputOutputContext.write(TaskInputOutputContext.java:80)
at org.apache.mahout.clustering.canopy.CanopyMapper.cleanup(CanopyMapper.java:59)
at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:146)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:621)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305)
at org.apache.hadoop.mapred.Child.main(Child.java:170)

map中的输出代码为：

context.write(new Text(), new ClusterWritable());

但是我不知道为什么它说值类型是VectorWritable 。

Answer 1

运行Mapper，导致上面的stacktrace是Mahout的CanopyMapper，而不是您编写的自定义代码。 CanopyMapper.cleanup方法正在输出（键：文本，值：VectorWritable）。 参见CanopyMapper.java

另请参见CanopyDriver.java及其buildClustersMR方法，其中配置了MR作业，映射器，化简器以及适当的输出键/值类。

您没有声明，所以我猜您在数据流管道中使用了多个MR作业。 检查管道中每个作业的输出是否是管道中下一个作业的有效/预期输入。 考虑使用级联/缩放来定义数据流（请参阅http://www.slideshare.net/melrief/scalding-programming-model-for-hadoop ）

考虑使用Mahout用户邮件列表来发布Mahout相关问题。