找不到org.apache.spark.sql.types.SQLUserDefinedType类-继续存根

Question

我有一个基本的spark mllib程序，如下所示。

import org.apache.spark.mllib.clustering.KMeans

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.mllib.linalg.Vectors


class Sample {
  val conf = new SparkConf().setAppName("helloApp").setMaster("local")
  val sc = new SparkContext(conf)
  val data = sc.textFile("data/mllib/kmeans_data.txt")
  val parsedData = data.map(s => Vectors.dense(s.split(' ').map(_.toDouble))).cache()

  // Cluster the data into two classes using KMeans
  val numClusters = 2
  val numIterations = 20
  val clusters = KMeans.train(parsedData, numClusters, numIterations)

  // Export to PMML
  println("PMML Model:\n" + clusters.toPMML)
}

我已经通过intellij手动将spark-core ， spark-mllib和spark-sql到项目类路径，所有版本均为1.5.0。

运行程序时出现以下错误？ 知道有什么问题吗？

错误：scalac：加载Vector时出错，缺少依赖项'错误的符号引用。 Vector.class中的签名是指软件包org.apache.spark.sql中不可用的术语类型。 当前类路径可能会完全丢失它，或者类路径上的版本可能与/home/fazlann/Downloads/spark-mllib_2.10-1.5.0要求的Vector.class编译时使用的版本不兼容。 jar（org / apache / spark / mllib / linalg / Vector.class

Answer 1

DesirePRG。 我遇到了和你一样的问题。 解决方案是导入一些组装spark和hadoop的jar，例如spark-assembly-1.4.1-hadoop2.4.0.jar ，然后它可以正常工作。