如何引用 PySpark function 中定義的常量？

Question

這感覺像是一個非常簡單的問題，但我很難找到答案。

我在 PySpark 中有一個 function 執行幾個計算：

def calculate_value:

    CONSTANT = 25

    new_sdf = sdf.withColumn("corrected_column", spark_fns.expr("old_column * CONSTANT")

    return new_sdf 

這會出錯，所以我想知道引用常量變量的正確方法是什么？

Answer 1

你可以試試這個

import pyspark.sql.functions as F

CONSTANT = 25
new_sdf = sdf.withColumn("corrected_column", CONSTANT*F.col("old_column"))