将 Stringtype 转换为 ArrayType

Question

是否可以将 StringType 列转换为 spark 数据框中的 ArrayType 列？

df.printSchema()给出了这个

架构 ->
一个：字符串（可为空=真）

现在我想将其转换为

a：数组（可为空=真）

Answer 1

正如Elisiah评论的那样，您必须拆分字符串。 您可以使用 UDF：

    df.printSchema

    import org.apache.spark.sql.functions._

    val toArray = udf[Array[String], String]( _.split(" "))
    val featureDf = df
      .withColumn("a", toArray(df("a")))  

    featureDF.printSchema

给出输出：

root  
 |-- a: string (nullable = true)

root
 |-- a: array (nullable = true)
 |    |-- element: string (containsNull = true)

Answer 2

简单地将任何column包装在functions.array另一种选择。

df.withColumn("a", functions.array(col("a")))