来自Python包的函数用于Spark数据帧的udf（）

Question

对于通过pyspark的Spark数据帧，我们可以使用pyspark.sql.functions.udf来创建user defined function (UDF) 。

我想知道我是否可以在np.random.normal udf()使用Python包中的任何函数，例如，来自numpy的np.random.normal ？

Answer 1

假设您想要通过重复调用numpy.random.normal来为您的DataFrame df添加一个名为new的列，您可以这样做：

import numpy
from pyspark.sql.functions import UserDefinedFunction
from pyspark.sql.types import DoubleType

udf = UserDefinedFunction(numpy.random.normal, DoubleType())

df_with_new_column = df.withColumn('new', udf())