可从PySpark / Python调用的Spark（2.3+）Java函数[重复]

Question

这个问题已经在这里有了答案：

• Spark：如何使用Scala或Java用户定义函数映射Python？ 1个答案

关于Spark Doc 2.3：

https://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.SQLContext.registerJavaFunction

registerJavaFunction（name，javaClassName，returnType = None）[源代码]

将Java用户定义的函数注册为SQL函数。

除了名称和函数本身之外，返回类型还可以>可选地指定。 当未指定返回类型时，我们将通过反射来推断它。

参数：

名称–用户定义函数的名称

javaClassName – Java类的标准名称

returnType –注册的Java函数的返回类型。 该值可以是pyspark.sql.types.DataType对象或DDL格式的类型字符串。

---

我的问题：

我想为Spark 2.3+建立一个包含大量UDF的库，它们全部用Java编写并且都可以从PySpark / Python访问。

阅读上面链接的文档似乎表明， 类和Java UDF函数之间存在一对一的映射关系 （可从PySpark中的Spark-SQL调用）。 因此，如果我说10个Java UDF函数，则需要创建10个公共Java类，每个类具有1个UDF，以使其可从PySpark / SQL调用。

这个对吗？

我可以创建1个公共Java类并将多个不同的UDF放置在1类中，并使所有UDF在Spark 2.3中可从PySpark调用吗？

这篇文章没有提供任何Java示例代码来帮助解决我的问题。 看起来一切都在Scala中。 我想要Java中的所有内容。 我需要扩展一个类或实现接口来用Java吗？ 从PySpark-SQL调用到示例Java代码的任何链接将不胜感激。

Spark：如何使用Scala或Java用户定义函数映射Python？

Answer 1

因此，如果我说10个Java UDF函数，则需要创建10个公共Java类，每个类具有1个UDF，以使其可从PySpark / SQL调用。

这个对吗？

对，那是正确的。 但是，您可以：

• 使用UserDefinedFunction并按Spark中所示进行接口：如何使用Scala或Java用户定义函数映射Python？
• 使用UDFRegistration.register来注册名为udfs注册，然后为每个已注册的函数通过Py4j调用org.apache.spark.sql.functions.callUDF 。

Answer 2

在非常简单的Java / Python / Pyspark代码示例下面可以帮助某人，我让它可以在Spark 2.3.1和Java 1.8上运行，以用于可从Python调用的Java UDF。

请注意，这种方法对我来说非常麻烦 ，因为每个Java UDF都需要一个单独的Java类。 因此，对于50个离散的Java UDF = 50个单独的公共Java类！ 理想的情况是，如果单个公共Java类可以包含多个单独的Java UDF，并且全部打包在一个JAR文件中，则将是理想的。 las，我仍然不知道该怎么做。

欢迎提出改进建议！ 谢谢

// Java 8 code 
package com.yourdomain.sparkUDF;

import org.apache.spark.api.java.*;
import org.apache.spark.SparkConf;
import org.apache.spark.sql.*;
import org.apache.spark.sql.api.java.UDF0;
import org.apache.spark.sql.api.java.UDF1;
import org.apache.spark.sql.types.DataTypes;


public final class JavaUDFExample 
        implements UDF0<String> {
    @Override
    public String call() throws Exception {
        return java.util.UUID.randomUUID().toString();
    }
}
// end of Java code
// make a jar file from above including all referenced jar Spark libraries

# PySPark Python code below
from pyspark.sql import SparkSession
from pyspark     import SparkConf, SparkContext
from pyspark.sql import HiveContext
from pyspark.sql.types import IntegerType
from pyspark.sql.types import StringType


spark = SparkSession.builder.appName("Java UDF Example").getOrCreate() 

df = spark.read.json(r"c:\temp\temperatures.json")
df.createOrReplaceTempView("citytemps")

spark.udf.registerJavaFunction("getGuid", "com.yourdomain.sparkUDF.JavaUDFExample", StringType())

spark.sql("SELECT getguid() as guid, * FROM citytemps").show()
# end of PySpark-SQL Python code

DOS shell script to run on local Spark:

spark-submit --jars c:\dir\sparkjavaudf.jar python-udf-example.py