用pyspark替換數據框中列的所有值

Question

我希望用特定值替換spark數據幀中列的所有值。 我正在使用pyspark。 我試過像 -

new_df = df.withColumn('column_name',10)

在這里，我想將列column_name中的所有值替換為10 。 在pandas中，這可以通過df['column_name']=10 。 我無法弄清楚如何在Spark中做同樣的事情。

Answer 1

您可以使用UDF替換該值。 但是，您可以使用currying來支持不同的值。

from pyspark.sql.functions import udf, col

def replacerUDF(value):
    return udf(lambda x: value)

new_df = df.withColumnRenamed("newCol", replacerUDF(10)(col("column_name")))

Answer 2

使用lit可能更容易，如下所示：

from pyspark.sql.functions import lit
new_df = df.withColumn('column_name', lit(10))