[英]How do I set value to 0 of column with multiple statements in Pyspark and Palantir Foundry
我試圖發表一個聲明，基本上說如果EDW_ABC.edw_xdpt_act_arrv_lb為 NULL，則使用EDW_ABC.edw_putt_act_arrv_lb ，如果兩者都為 null，則將值設置為 0。我該怎么做？ 我正在嘗試以下操作，但我知道這是不正確的。
EDW_ABC = EDW_ABC.withColumn('act_arrv_abc_lbs', F.when(
(EDW_ABC.edw_xdpt_act_arrv_lb.isNull() == True) & (EDW_ABC.edw_putt_act_arrv_lb.isNull() == True). F.lit(0)\
.otherwise(EDW_ABC.edw_xdpt_act_arrv_lb.isNull()), EDW_ABC.edw_putt_act_arrv_lb)
你並不需要指定的條件otherwise ，這樣
EDW_ABC = EDW_ABC.withColumn(
'act_arrv_abc_lbs',
F.when(
EDW_ABC.edw_xdpt_act_arrv_lb.isNull() & EDW_ABC.edw_putt_act_arrv_lb.isNull(), F.lit(0)
).otherwise(
EDW_ABC.edw_putt_act_arrv_lb
)
)
when和otherwise操作為if ＆ else ，因此，如果在第一條件when不被滿足，否則自動假設相反。
您將需要使用pyspark.sql.functions.coalesce()函數，該函數返回列表中第一列不返回 NULL 的值。
EDW_ABC = EDW_ABC.withColumn('act_arrv_abc_lbs', F.coalesce(F.col("edw_xdpt_act_arrv_lb"), F.col("edw_putt_act_arrv_lb"), F.lit(0))
如何在代碼工作簿中合並 Palantir Foundry 中的兩個數據集？
[英]How do I union two datasets in Palantir Foundry within a code workbook?
如何在 Palantir Foundry 的 Python 轉換中傳遞數據集元數據，如 hash 或時間戳？
[英]How can I pass through dataset metadata, like a hash or timestamp, in a Python Transform in Palantir Foundry?
如何在 palantir-foundry 中導入和使用 Spark-Koalas
[英]How do you import and use Spark-Koalas in palantir-foundry
我的程序經過多個 if-else 語句后如何打印一組語句
[英]how do i print one set of statements after my program goes through multiple if-else statements
如何在 Pyspark 中的 window（不是 groupBy）中找到 A 列最大值對應的 B 列值？
[英]How do I find the corresponding value of Column B for the max of column A over a window (not groupBy) in Pyspark?
PySpark：如何基於其他行值更改行+列的值
[英]PySpark: How do I change the value of a row+column based on the value of other row values
Palantir Foundry 在更新時向外部 API 發送一個數據集並將響應添加到新列
[英]Palantir Foundry send to the external API a dataset when updating and add the response to a new column
如何為多列在pyspark數據框中的一列中計算每個分類變量的頻率？
[英]How do I count frequency of each categorical variable in a column in pyspark dataframe for multiple columns?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.