toBreeze Spark函数标量

Question

我试图了解Spark中的toBreeze函数。 而且，我发现了以下问题：

<console>:37: error: method foreachActive in trait Vector cannot be accessed in org.apache.spark.mllib.linalg.Vector
      vector.foreachActive{case (index,value) =>

dataSS是org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector]

dataSS.collect().foreach { vector =>
  vector.foreachActive { case (index,value) =>
    matData(i, index) = value
  }
  i +=1
}

Answer 1

我推断foreachActive必须在您使用的Spark版本中是私有的。

foreachActive是公开的，在Spark 2.0.2中对我来说工作正常

但是， asBreeze是私有的：

private[spark] override def asBreeze: BV[Double]

并在调用时产生与您看到的错误等效的错误：

error: method asBreeze in trait Vector cannot be accessed in org.apache.spark.ml.linalg.Vector

（这非常令人讨厌， 仅凭scaladoc无法了解 ）