线程“main”中的异常 java.lang.NoClassDefFoundError: org/apache/spark/ml/feature/VectorAssembler in IntelliJ

Question

我正在尝试使用 IntellijIDEA 中的线性回归在 Spark ML 中构建模型。

在拟合模型之前，我应该创建一个具有feature列的VectorAssembler 。

import org.apache.spark.ml.feature.VectorAssembler
import org.apache.spark.ml.linalg.Vectors

//creating features column
val assembler = new VectorAssembler()
  .setInputCols(Array("col4","col5","col6","col7"))
  .setOutputCol("features")

线程“main”中的异常 java.lang.NoClassDefFoundError: org/apache/spark/ml/feature/VectorAssembler at energydata$.main(energydata.scala:35) at energydata.main(energydata.scala) 由：java.lang .ClassNotFoundException: org.apache.spark.ml.feature.VectorAssembler at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at sun.misc.Launcher $AppClassLoader.loadClass(Launcher.java:335) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:357) ... 2 更多

但这会在 Intellij 中产生错误。 当我在 spark-shell 中尝试相同时，它起作用了。

有人可以建议我在这里可能出错的地方吗？

name := "hello"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.1.0"
libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "2.1.0"
libraryDependencies += "com.datastax.spark" %% "spark-cassandra-connector" % "2.0.6"
libraryDependencies += "org.apache.spark" %% "spark-mllib" % "2.1.0" % "provided"

Answer 1

我在找不到其他类时遇到了类似的问题。 这是因为，在 maven 依赖项中，它说“ <scope>provided</scope> ”。 我删除了它，按下重新加载，现在它可以工作了。