通過選擇不是 null 的特定值在 pyspark 中創建一個新列

Question

在 pyspark 中，我的目標是創建一個新列，其中我 select 列值（兩列中）不是 null 來自。 我曾嘗試使用以下代碼，但這並不完全奏效。 有人有更好的解決方案嗎？

def spark_define_column(df):
    df.where(col("col_1").isNull()) and df.where(col("col_2").isNotNull()):
    return col("col_2")

Answer 1

您可以應用coalesce來查找列中的第一個非空值。

def spark_define_column(df):
    return F.coalesce(col("col_1"), col("col_2"))