在 PySpark DataFrame 中添加多個空列

Question

誰能建議我如何在 pyspark 數據框中添加多個空列。 目前我正在做這樣的事情，但它不起作用：

def add_columns(dataframe, column_list):
    for col in column_list:
        self = dataframe.withColumn(str(col), lit(None).cast(StringType())))
    return dataframe

在應用 add_columns 函數后的輸出模式中，我在 0x7f41189d7e10: string (nullable = true) 處獲得新列作為生成器對象geneexpr

Answer 1

你的代碼片段對我有用，只需在里面做這個小改動：

def add_columns(dataframe, column_list):
    self = dataframe.withColumn(str(column_list[0]), f.lit(None).cast(StringType()))
    for col in column_list[1:]:
        self = self.withColumn(str(col), f.lit(None).cast(StringType()))
    return self

我返回“self”而不是“dataframe”，以便在每次運行函數時不向數據幀添加多列。