元组作为Hadoop映射器中的关键

Question

我需要在mapreduce作业中使用2个元素的“元组”作为键。

即我希望我的地图任务输出一对(first_key,second_key), value

我尝试使用ArrayWritable ，但在运行我的代码之后我遇到了一个错误，结果发现ArrayWritable不适合这样的任务，因为它没有实现WritableComparable （无论它意味着什么）所以不能用作密钥。

奇怪的是，我无法为我的问题找到任何“正确”的解决方案，它可以100％工作而不附加任何字符串。 有什么建议？

Answer 1

MapReduce作业中的任何键都必须实现WritableComparable ，而不是ArrayWritable的情况。

它也必须是可Comparable以便Hadoop可以对（键，值）对进行排序。 所以在你的情况下，解决方案可能是创建自己的类来实现WritableComparable 。

Answer 2

如果您不想实现WritableComparable ，可以使用new Text(key1.toString() + "\\t" + key2.toString())作为键。