找不到org.apache.spark.sql.types.SQLUserDefinedType類-繼續存根

Question

我有一個基本的spark mllib程序，如下所示。

import org.apache.spark.mllib.clustering.KMeans

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.mllib.linalg.Vectors


class Sample {
  val conf = new SparkConf().setAppName("helloApp").setMaster("local")
  val sc = new SparkContext(conf)
  val data = sc.textFile("data/mllib/kmeans_data.txt")
  val parsedData = data.map(s => Vectors.dense(s.split(' ').map(_.toDouble))).cache()

  // Cluster the data into two classes using KMeans
  val numClusters = 2
  val numIterations = 20
  val clusters = KMeans.train(parsedData, numClusters, numIterations)

  // Export to PMML
  println("PMML Model:\n" + clusters.toPMML)
}

我已經通過intellij手動將spark-core ， spark-mllib和spark-sql到項目類路徑，所有版本均為1.5.0。

運行程序時出現以下錯誤？ 知道有什么問題嗎？

錯誤：scalac：加載Vector時出錯，缺少依賴項'錯誤的符號引用。 Vector.class中的簽名是指軟件包org.apache.spark.sql中不可用的術語類型。 當前類路徑可能會完全丟失它，或者類路徑上的版本可能與/home/fazlann/Downloads/spark-mllib_2.10-1.5.0要求的Vector.class編譯時使用的版本不兼容。 jar（org / apache / spark / mllib / linalg / Vector.class

Answer 1

DesirePRG。 我遇到了和你一樣的問題。 解決方案是導入一些組裝spark和hadoop的jar，例如spark-assembly-1.4.1-hadoop2.4.0.jar ，然后它可以正常工作。