如何將 RDD 列表轉換為 PySpark 中的 RDD 行

Question

rdd = spark.sparkContext.parallelize(['a1', 'a2', 'a3', 'a4', 'a5', ])

# convert to as follows
..., ...
..., ...

# show result
rdd.collect()
[Row(col='a1'), Row(col='a2'), Row(col='a3'), Row(col='a4'), Row(col='a5'), ]

我知道在Java Spark中我們可以使用Row但未在PySpark中實現。
那么最合適的實現方式是什么？ 將其轉換為dict然后將其轉換為rdd 。

Answer 1

然后導入Row package。

rdd = spark.sparkContext.parallelize(['a1', 'a2', 'a3', 'a4', 'a5', ])
from pyspark.sql import Row 

rdd.map(lambda x: Row(x)).collect()

[<Row('a1')>, <Row('a2')>, <Row('a3')>, <Row('a4')>, <Row('a5')>]