將 Stringtype 轉換為 ArrayType

Question

是否可以將 StringType 列轉換為 spark 數據框中的 ArrayType 列？

df.printSchema()給出了這個

架構 ->
一個：字符串（可為空=真）

現在我想將其轉換為

a：數組（可為空=真）

Answer 1

正如Elisiah評論的那樣，您必須拆分字符串。 您可以使用 UDF：

    df.printSchema

    import org.apache.spark.sql.functions._

    val toArray = udf[Array[String], String]( _.split(" "))
    val featureDf = df
      .withColumn("a", toArray(df("a")))  

    featureDF.printSchema

給出輸出：

root  
 |-- a: string (nullable = true)

root
 |-- a: array (nullable = true)
 |    |-- element: string (containsNull = true)

Answer 2

簡單地將任何column包裝在functions.array另一種選擇。

df.withColumn("a", functions.array(col("a")))