在数据框API中使用Spark SQL udf

Question

我如何使用在火花下效果很好的UDF

sparkSession.sql("select * from chicago where st_contains(st_makeBBOX(0.0, 0.0, 90.0, 90.0), geom)").show

取自http://www.geomesa.org/documentation/user/spark/sparksql.html，是通过spark的更多类型安全的scala数据框API？

Answer 1

如果创建了函数，则可以使用以下方法注册创建的UDF：

sparksession.sqlContext.udf.register(yourFunction)

我希望这有帮助。

Answer 2

Oliviervs我认为他正在寻找与众不同的东西。 我认为Georg希望在数据框的select api中按字符串使用udf。 例如：

val squared = (s: Long) => {
  s * s
}
spark.udf.register("square", squared)

df.select(getUdf("square", col("num")).as("newColumn")) // something like this

目前的问题是，是否存在一个名为getUdf的函数，该函数可用于检索通过字符串注册的getUdf 。 乔治，是吗？