如何在Spark中將non dataframe參數傳遞給udf

Question

有什么可以幫助您知道如何將非數據幀值作為參數傳遞給udf的。

val df2 = df1.withColumn("newcol", udffunc(df1("col1"), x)).

我定義的udf函數如下。

udffunc = udf(method _)

方法我定義如下。

def method(inputvar1: String, inputvar2: String): Option[Long] = {
  ...
  ...
  return Longvariable
}

Answer 1

我可以通過為UDF編寫以下代碼來解決此問題。

def udffunc = udf((y:String) => {
    val format:String = "x"
    method(y, "x")
  })

因此，我可以將一個參數（數據框列）從.withColumn傳遞給UDF函數udffunc ，然后可以將上述示例中的外部參數“ x”傳遞給名為“ method”的函數。