Python 3中Pyspark的takeOrdered键错误

Question

我在使用Python 3.4.2和Spark 1.4.1的PySpark中的takeOrdered函数遇到错误，该功能应该支持Python 3。

sc.parallelize([("a", 10), ("c", 5), ("b", 7)]).takeOrdered(3, key=lambda (k,v): -v)

File "<stdin>", line 1
sc.parallelize([("a", 10), ("c", 5), ("b", 7)]).takeOrdered(3, key=lambda (k,v): -v)
                                                                          ^
SyntaxError: invalid syntax

仅当我使用Python 3时才会发生此错误。它在Python 2.7中工作得很好。

另外，作为比较，以下代码行在Python 3中也能正常工作：

sc.parallelize([("a", 10), ("c", 5), ("b", 7)]).takeOrdered(3, key=lambda (k,v): -v)

有人遇到同样的错误吗？ 还是我错过了什么？ 谢谢

Answer 1

导致该错误的是您的lamba函数。

这是因为您使用的是Python3。在Python 3中删除了元组参数拆包。请参阅此处的文档

您可以手动打开元组的包装：

sc.parallelize([("a", 10), ("c", 5), ("b", 7)]).takeOrdered(3, key=lambda kv: -kv[1])