Spark UDF返回类型

Question

我正在尝试制作这样的UDF：

import org.apache.spark.sql.functions.udf
def myFunction = udf( (input: String, modifier: Seq[String]) => {
    // Logic goes here...
    return Option(myString)
})

该函数在逻辑上有一些退出点，但是它按照以下方式抱怨return语句：

Message: <console>:69: error: method myFunction has return statement; needs result type
        return Option(myString)

我花了最后几个小时尝试找出如何将返回类型声明为Option [String]，但似乎没有任何效果。

我认为这是正确的，但它不喜欢它：

udf( (input: String, modifier: Seq[String]) => Option[String] {

Answer 1

我觉得我已经解决了这个问题。

正如Ramesh指出的那样，您不必在UDF中使用返回关键字。 我最初是这样做的，因为有一堆IF-THEN-ELSE类型的块，并且我希望该选项可以更早地退出并返回一个值。

我现在更新了这个：

def myFunction = udf( (input: String, modifier: Seq[String]) => Option[String] {
  var retrunStr = ""
  // Logic goes here...
    // Conditionally set a value
    retrunStr = input
  // Finally just set the result to the returnStr
  retrunStr
})

尽管携带returnStr变量确实感到混乱，但这似乎可行。 如果我真的很厉害，我应该能够得到我的条件逻辑来返回正确的值。

我消除了逻辑上的一些复杂性，但是我使用的是嵌套匹配器，foreach循环和易碎对象等，但这是另一个主题。

再次感谢Ramesh，您完全可以避免使用return语句。