Spark：使用 UDF 在 Dataframe 中創建數組列

Question

我有一個簡單的 function，它在一個字段中使用一些 XML，解析值，並返回一個列表：

<data>
   <datas a="1" b="2" c="3">
   <datas a="2" b="3" c="2">
</data>

成為嵌套列表 [[1,2,3],[2,3,2]]

我已將其設為 udf，我正在撥打我的 dataframe：

myudf=udf(myparser)
df2=df1.withColumn("newDataColumn",myudf(df1["xmldatafield"]))

這有效。 除了 newDataColumn 的類型是 STRING 而不是 Array。 所以我不能在其上使用任何 sql 數組函數來訪問或處理單個元素。

我已經在 python 中確認 function 正在返回一個列表類型。

知道我做錯了什么或者我怎么能把它變成數組列類型？

Answer 1

我的一個朋友剛剛告訴我，解決方案是將數據類型傳遞給 UDF function。Duh