是否可以使用帶有spark UDF的Option

Question

我想使用Option作為我的函數的輸入類型。

udf((oa: Option[String], ob: Option[String])) => …

以更實用的方式處理null值。

有沒有辦法做到這一點 ？

Answer 1

據我所知，這不是直接可能的。 沒有什么能阻止你用Options包裝參數：

udf((oa: String, ob: String) => (Option(oa), Option(ob)) match {
  ...
})

使用Dataset編碼器：

val df = Seq(("a", None), ("b", Some("foo"))).toDF("oa", "ob")

df.as[(Option[String], Option[String])]

或添加一些隱式轉換：

implicit def asOption[T](value: T) : Option[T] = Option(value)

def foo(oa: Option[String], ob: Option[String]) = {
  oa.flatMap(a => ob.map(b => s"$a - $b"))
}

def wrap[T, U, V](f: (Option[T], Option[U]) => V) = 
  (t: T, u: U) => f(Option(t), Option(u))

val foo_ = udf(wrap(foo))
df.select(foo_($"oa", $"ob"))