如何將Spark數據幀中的WrappedArray列轉換為Strings？

Question

我正在嘗試將包含Array [String]的列轉換為String，但是始終出現此錯誤

org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 78.0 failed 4 times, most recent failure: Lost task 0.3 in stage 78.0 (TID 1691, ip-******): java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to [Ljava.lang.String; 

這是一段代碼

val mkString = udf((arrayCol:Array[String])=>arrayCol.mkString(","))  
val dfWithString=df.select($"arrayCol").withColumn("arrayString",
      mkString($"arrayCol"))  

Answer 1

WrappedArray不是一個Array （這是普通的Java Array不是一個簡單的Scala集合）。 您可以將簽名更改為：

 import scala.collection.mutable.WrappedArray (arrayCol: WrappedArray[String]) => arrayCol.mkString(",") 

或使用像Seq這樣的超類型之一：

(arrayCol: Seq[String]) => arrayCol.mkString(",")

在最新的Spark版本中，可以改用concat_ws ：

import org.apache.spark.sql.functions.concat_ws

df.select(concat_ws(",", $"arrayCol"))

Answer 2

該代碼為我工作：

df.select("wifi_ids").rdd.map(row =>row.get(0).asInstanceOf[WrappedArray[WrappedArray[String]]].toSeq.map(x=>x.toSeq.apply(0)))

您的情況，我想是：

val mkString = udf(arrayCol=>arrayCol.asInstanceOf[WrappedArray[String]].toArray.mkString(","))  
val dfWithString=df.select($"arrayCol").withColumn("arrayString",mkString($"arrayCol"))