如何從列名列表中動態創建結構列？

Question

我有一個 dataframe 有 100 列：

root
 |-- column1
 |-- column2
 |-- column3
 |-- column4
 |-- column5

我有一個列名列表：

struct_list = ['column4','column3','column2']

預期架構：

root
 |-- column1
 |-- column2
 |-- column3
 |-- column4
 |-- column5
 |-- prev_val 
       |-- column4
       |-- column3
       |-- column2

目前我正在硬編碼以下值：

df=df.withColumn("prev_val",f.struct(f.col("column4"),f.col("column3"),f.col("column2"))

有沒有一種方法可以動態傳遞列表中的值？

Answer 1

您可以使用列表推導：

import pyspark.sql.functions as f

struct_list = ['column4','column3','column2']

df2 = df.withColumn(
    "prev_val",
    f.struct(*[f.col(c) for c in struct_list])
)

實際上你甚至不需要f.col 。 您可以直接傳遞列名：

df2 = df.withColumn(
    "prev_val",
    f.struct(*struct_list)
)