Spark Scala矢量地图ClassCastException

Question

尝试利用Spark for Scala中的统计信息工具，并且难以准备将要使用的向量。

val featuresrdd =   features.rdd.map{_.getAs[Vector]("features")}

featuresrdd: org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector] = MapPartitionsRDD[952] at map at <console>:82

这将生成一个类型为“ mllib.linalg.vector”的向量，但是在工具中使用该向量时，该向量已更改为“ DenseVector”类型。

import org.apache.spark.mllib.linalg._
import org.apache.spark.mllib.stat.Statistics
import org.apache.spark.rdd.RDD

val correlMatrix: Matrix = Statistics.corr(featuresrdd, "pearson")

java.lang.ClassCastException: org.apache.spark.ml.linalg.DenseVector cannot be cast to org.apache.spark.mllib.linalg.Vector

任何帮助将不胜感激。

谢谢

Answer 1

使用asML函数将旧的Vector转换为ML中的新Vector：

val newMLFeaturesRDD = featuresrdd.map(_.asML)
val correlMatrix: Matrix = Statistics.corr(newMLFeaturesRDD , "pearson")