Spark Scala UDF：java.lang.UnsupportedOperationException：不支持任何類型的架構

Question

我正在嘗試從 UDF 返回一個 map 並在 if else 中得到以下異常，請指點？

java.lang.UnsupportedOperationException：不支持任何類型的架構

import org.apache.spark.sql.functions.{col, udf}
import org.apache.spark.sql.functions._
val df2  = Seq(
  ("1", Map("Fld1" -> "USA","Fld2" -> "UK")),
  ("2", Map("Fld1" -> "Germany", "Fld2" -> "Portugal")),
("3", Map("Fld1" -> "France", "Fld2" -> "Paris"))
).toDF("id", "map")

val getmapUdf  = udf((map1: Map[String, String]) => { 
   
    val fl1 = map1.getOrElse("Fld1","unknown")   
    val fl2 = map1.getOrElse("Fld2","unknown")   

     if (fl1 =="Germany")
    {
            Map("key1" -> "G")
    }
    else if(fl1 =="France") 
    {
        if (fl2 =="UK")
        {
            Map("key1" ->"U")
        }
        else
        {
            Map("key1" ->"Y")
        }
    }
    else if(fl1 =="France") 
    {
           Map("key1" ->"G")
    }
    
})
var temp2 = df2.withColumn("mymap", getmapUdf($"map"))
temp2.show(false)

Answer 1

您收到該錯誤是因為您的 UDF function 並不總是返回類型Map[String,String] ，您使用的 if/else 語句在不滿足條件時不涵蓋默認值，因此返回類型為 Any。

但是，您實際上可以在不使用 UDF 的情況下執行相同的操作，使用 function when ：

var temp2 = df2.withColumn(
  "mymap",
  when($"map" ("Fld1") === "Germany", map(lit("key1"), lit("G")))
    when ($"map" ("Fld1") === "France" && $"map" ("Fld2") === "UK", map(lit("key1"),lit("G")))
    when ($"map" ("Fld1") === "France", map(lit("key1"), lit("Y")))
)

temp2.show(false)

//+---+-----------------------------------+-----------+
//|id |map                                |mymap      |
//+---+-----------------------------------+-----------+
//|1  |[Fld1 -> USA, Fld2 -> UK]          |null       |
//|2  |[Fld1 -> Germany, Fld2 -> Portugal]|[key1 -> G]|
//|3  |[Fld1 -> France, Fld2 -> Paris]    |[key1 -> Y]|
//+---+-----------------------------------+-----------+

無論如何，如果您想使用 UDF，請修改 function 以返回Option[Map[String,String]] 。 像這樣的東西：

val getmapUdf = udf((map1: Map[String, String]) => {
  val fl1 = map1.getOrElse("Fld1", "unknown")
  val fl2 = map1.getOrElse("Fld2", "unknown")

  if (fl1 == "Germany") {
    Some(Map("key1" -> "G"))
  } else if (fl1 == "France") {
    if (fl2 == "UK") {
      Some(Map("key1" -> "U"))
    } else {
      Some(Map("key1" -> "Y"))
    }
  } else if (fl1 == "France") {
    Some(Map("key1" -> "G"))
  } else {
    None
  }
})

Answer 2

如果您想繼續使用您正在做的事情，我將嘗試在這里提供一個替代答案，但@blackbishop 答案涵蓋了實現相同內容的大部分選項。

為了使您的代碼正常工作，您只需在 UDF 中進行更改，以確保您有返回默認 map 的其他條件，如下所示，然后您將不會收到該錯誤。

val getmapUdf  = udf((map1: Map[String, String]) => { 
   
    val fl1 = map1.getOrElse("Fld1","unknown")   
    val fl2 = map1.getOrElse("Fld2","unknown")   

     if (fl1 =="Germany")
    {
            Map("key1" -> "G")
    }
    else if(fl1 =="France") 
    {
        if (fl2 =="UK")
        {
            Map("key1" ->"U")
        }
        else
        {
            Map("key1" ->"Y")
        }
    }
    else if(fl1 =="France") 
    {
           Map("key1" ->"G")
    }
  else
  {
    Map("key1" -> "unknown")
  }
    
})