pySpark withColumn 有兩個條件

Question

我想過濾兩個條件： clean_reference.Output == " "和clean_reference.Primary == "DEFAULT" 。 如果兩個條件都適用，則clean_reference.Output否則為"NI"

下面的代碼不接受我的clean_reference.Output作為我的 when() 值。

final_reference = clean_reference.withColumn("Output",f.when(clean_reference.Output == " ")| (clean_reference.Primary == "DEFAULT"), clean_reference.Output).otherwise("NI")

TypeError: when() missing 1 required positional argument: 'value'

Answer 1

把你的 cols 像f.col()和 value 分配為f.lit() 。

final_reference = clean_reference.withColumn("Output",\
                       f.when((f.col("Output") == " ")|                              
                             (f.col("Primary") ==\
                              "DEFAULT"), f.col("Output"))\
                                             .otherwise(f.lit("NI")))

Answer 2

相同的代碼，只是固定了大括號。

final_reference = clean_reference.withColumn(
        "OutputItemNameByValue",
        f.when( 
          (clean_reference.OutputItemNameByValue == " ") | 
          (clean_reference.PrimaryLookupAttributeValue == "TRIANA_DEFAULT"),
          clean_reference.OutputItemNameByValue
        ).otherwise("Not Implemented")
)