Spark reducebykey-最小列表元素

Question

我在使用Spark reduceByKey / groupByKey函数时遇到问题。

我有一对RDD，格式为(datetime, [a1, b1, c1, d1]), (datetime, [a2, b2, c2, d2]) ...

我想通过键（在这里相同的日期时间）对那些元素进行分组，并获得对应于逐个元素最小值列表的输出值。

在我的示例中，输出为：

(datetime, [min(a1,a2), min(b1,b2), min(c1,c2), min(d1,d2)])

我试过了：

reduceByKey(lambda (a, b): [min(x) for x in zip(a, b)])

但到目前为止没有成功。

提前致谢

Answer 1

对于这个问题，我们有一个简单的解决方案。

在您的地图功能中，缩小之前。 您应该这样设置数据：

(datetime, ([a1, b1, c1, d1],))

请注意，我将列表插入带逗号的元组中。 我正在做一个“开放”元组。 而且，您可以将reduceByKey为默认值：

reduceByKey(lambda a, b: a + b)

这样您将获得rdd：

(datetime, ([a1, b1, c1, d1], [a2, b2, c2, d2]))