如何在pyspark中創建一個新列？

Question

在我pyspark數據幀我有兩種price1和price2 。 我想基於公式((price1 - price2)/price1)創建一個新的列result 。 不過，我想也來檢查，無論是price1也不price2是空的，而且price1不是0 。

如何使用這些條件正確創建新列？

現在我有這個：

df = df.withColumn("result", df["price1"]-df["price2"]/df["price1"])

Answer 1

我認為您可以這樣操作：

df = df.withColumn("result", df["price1"]-df["price1"]/df["price2"]).fillna(0)

Answer 2

如果可以使用udf，

from pyspark.sql import functions as F

udf = F.udf(lambda x,y : 0 if x == 0 or not all((x,y)) else x-y/x)
df = df.withColumn("result", udf(df["price1"],df["price2"]))

Answer 3

df = df.withColumn("result", 
when(df.col("price1").isNull OR df.col("price2").isNull OR df.col("price1")==0,0)
.otherwise(df.col("price1")-df.col("price2")/df.col("price1")))

這就是使用scala可以完成的方法。