使用reduceByKey查找RDD的最大值，然后查找其他变量的关联值

Question

我有3个值的RDD

rdd = rdd.map(lambda x: (x['Id'],[float(x['value1']),int(x['value2'])]))

我想找到并返回value1最大化的整个RDD，我知道我可以做

rddMax = rdd.map(lambda x: (x['Id'], int(x['value1']))).reduceByKey(max)

然后将其重新加入，但我只想执行一个干净的操作，该操作将查找由密钥分组的最大值2，然后返回与这些值关联的整个RDD。

我也不想在任何情况下将数据放在数据框中

谢谢

Answer 1

尝试这个：

>>> rdd =  rdd.map(lambda x: 
...  (x['key'], (float(x['value1']), int(x['value2']))))
>>> rdd.reduceByKey(
... lambda (v11, v21), (v12,v22): (v11, v21) if v11 > v12 else (v12, v22))