如何在Scala Spark中將RDD [Double]轉換為矢量

Question

我有一個Doubleed的IndexedRowMatrix。 我想計算矩陣每一行的總和並將結果保存到Vector。 之后，我要廣播此向量。 我正在創建一個Doubles的RDD，其中包含總和，但無法將其轉換為矢量。 因此，主要的問題是如何從IndexedRowMatrix創建我想要的Vector。

Answer 1

收集給駕駛員並構造一個載體：

import org.apache.spark.mllib.linalg.{Vector, Vectors}

val sc: SparkContext = ???
val rdd: RDD[Double] = ???
val vec: Vector = Vectors.dense(rdd.collect)
val broadcastVec = sc.broadcast(vec)

參考文獻：

https://spark.apache.org/docs/2.1.0/mllib-data-types.html#local-vector https://spark.apache.org/docs/latest/programming-guide.html#broadcast-variables