在 spark scala 中將行轉換為列表

Question

有可能這樣做嗎？ 我的數據框（~1000 cols）中的所有數據都是雙精度數，我想知道是否可以將一行數據轉換為雙精度數列表？

Answer 1

您可以在 Row 上使用toSeq方法，然后將類型從Seq[Any]轉換為Seq[Double] （如果您確定所有列的數據類型都是 Double）：

val df = Seq((1.0,2.0),(2.1,2.2)).toDF("A", "B")
// df: org.apache.spark.sql.DataFrame = [A: double, B: double]

df.show
+---+---+
|  A|  B|
+---+---+
|1.0|2.0|
|2.1|2.2|
+---+---+

df.first.toSeq.asInstanceOf[Seq[Double]]
// res1: Seq[Double] = WrappedArray(1.0, 2.0)

如果您有 String 類型的列，請使用toSeq然后使用帶有模式匹配的map將String轉換為Double ：

val df = Seq((1.0,"2.0"),(2.1,"2.2")).toDF("A", "B")
// df: org.apache.spark.sql.DataFrame = [A: double, B: string]

df.first.toSeq.map{ 
    case x: String => x.toDouble
    case x: Double => x 
}
// res3: Seq[Double] = ArrayBuffer(1.0, 2.0)

Answer 2

如果您有一個帶有doubles的dataframe ，您想將其轉換為List of doubles ，那么只需將dataframe框轉換為rdd這將為您提供RDD[Row]您可以將其轉換為List為

dataframe.rdd.map(_.toSeq.toList)

您將獲得list of doubles