將 Scala RDD 映射函數轉換為 Pyspark

Question

我正在嘗試將以下函數從 Scala 轉換為 Pyspark::

DF.rdd.map(args => (args(0).toString, args.mkString("|"))).take(5)

為此，我正在制作以下地圖功能：

DF.rdd.map(lambda line: ",".join([str(x) for x in line])).take(5)

但是 Scala 代碼給了我數組結構，而在 Python 中我得到了一個分隔的結果。

如何將上面的scala代碼轉換成python？

Answer 1

您的 Scala 代碼從 args 返回一個 2 元素列表。

您的 python 代碼返回一個逗號連接的字符串

這將返回相同的東西

lambda args: [str(args[0]), "|".join(map(str, args))]