如何在斯卡拉星火使用UDF WHERE子句中

Question

我正在尝试检查Dataframe中的2个Double列是否在某种程度上相等，所以49.999999应该等于50。是否可以创建UDF并在where子句中使用它？ 我在Scala中使用Spark 2.0。

Answer 1

您可以使用udf但没有必要的：

import org.apache.spark.sql.functions._

val precision: Double = ???

df.where(abs($"col1" - $"col2") < precision)

udf调用会的工作方式相同，但效率较低

df.where(yourUdf($"col1", $"col2"))

Answer 2

假设ctx是SQL上下文

ctx.udf.register("areEqual", (x: Double, y: Double, precision : Double) => abs(x-y)< prescision

接着

df.where(areEqual($"col1",$"col2",precision))