[英]How to pass Array[Seq[String]] to apache spark udf? (Error: Not Applicable)
我在 Scala 中有以下 apache spark udf:
val myFunc = udf {
(userBias: Float, otherBiases: Map[Long, Float],
userFactors: Seq[Float], context: Seq[String]) =>
var result = Float.NaN
if (userFactors != null) {
var contexBias = 0f
for (cc <- context) {
contexBias += otherBiases(contextMapping(cc))
}
// definition of result
// ...
}
result
}
现在我想将参数传递给这个函数,但是由于参数context
,我总是收到消息 Not Applicable 。 我知道用户定义的函数按行输入,如果我删除context
,这个函数就会运行......如何解决这个问题? 为什么它不从Array[Seq[String]]
读取行,即从context
? 或者,将context
作为DataFrame
或类似的东西传递也是可以接受的。
// context is Array[Seq[String]]
val a = sc.parallelize(Seq((1,2),(3,4))).toDF("a", "b")
val context = a.collect.map(_.toSeq.map(_.toString))
// userBias("bias"), otherBias("biases") and userFactors("features")
// have a type Column, while userBias... are DataFrames
myDataframe.select(dataset("*"),
myFunc(userBias("bias"),
otherBias("biases"),
userFactors("features"),
context)
.as($(newCol)))
更新:
我尝试了zero323
的答案中指出的解决方案,但是context: Array[Seq[String]]
仍然存在一个小问题context: Array[Seq[String]]
。 特别是问题在于循环遍历此数组for (cc <- context) { contexBias += otherBiases(contextMapping(cc)) }
。 我应该将 String 传递给contextMapping
,而不是Seq[String]
:
def myFunc(context: Array[Seq[String]]) = udf {
(userBias: Float, otherBiases: Map[Long, Float],
userFactors: Seq[Float]) =>
var result = Float.NaN
if (userFactors != null) {
var contexBias = 0f
for (cc <- context) {
contexBias += otherBiases(contextMapping(cc))
}
// estimation of result
}
result
}
现在我这样称呼它:
myDataframe.select(dataset("*"),
myFunc(context)(userBias("bias"),
otherBias("biases"),
userFactors("features"))
.as($(newCol)))
火花 2.2+
您可以使用typedLit
函数:
import org.apache.spark.sql.functions.typedLit
myFunc(..., typedLit(context))
火花 < 2.2
直接传递给 UDF 的任何参数都必须是Column
因此如果您想传递常量数组,则必须将其转换为列文字:
import org.apache.spark.sql.functions.{array, lit}
val myFunc: org.apache.spark.sql.UserDefinedFunction = ???
myFunc(
userBias("bias"),
otherBias("biases"),
userFactors("features"),
// org.apache.spark.sql.Column
array(context.map(xs => array(xs.map(lit _): _*)): _*)
)
非Column
对象只能使用闭包间接传递,例如:
def myFunc(context: Array[Seq[String]]) = udf {
(userBias: Float, otherBiases: Map[Long, Float], userFactors: Seq[Float]) =>
???
}
myFunc(context)(userBias("bias"), otherBias("biases"), userFactors("features"))
另一种方法是使用结构
val seq: Seq[String] = ...
val func: UserDefinedFunction = udf((seq: Row) => ...)
val seqStruct = struct(seq.map(v => lit(v)): _*)
func(seqStruct)
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.