pyspark-如何添加列以从列表中激发 dataframe

Question

我正在寻找一种从列表中在 Spark DF 中添加新列的方法。 在 pandas 方法中，处理它很容易，但在 spark 中似乎相对困难。 请找一个例子

#pandas approach
list_example = [1,3,5,7,8]
df.new_column = list_example

#spark ?

你能帮忙解决这个问题吗（最简单的解决方案）？

Answer 1

您可以尝试以下方法：

import pyspark.sql.functions as F

list_example = [1,3,5,7,8]
new_df = df.withColumn("new_column",  F.array( [F.lit(x) for x in list_example] ))
new_df.show()