线程“main”中的异常 java.lang.NoClassDefFoundError: org/apache/spark/sql/Column

Question

我是 Scala 和 Intellij 的新手，一直在努力解决以下错误：

java.lang.NoClassDefFoundError: org/apache/spark/sql/Column

我使用依赖项构建了我的 scala/sbt 项目：

libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "2.2.0" % "provided"

我能够添加以下导入：

import org.apache.spark.sql.{Row, SparkSession, Column}

但是， Row和SparkSession看起来正常，而Column却显示为灰色。

我似乎无法弄清楚为什么Column的工作方式不同。

任何帮助将不胜感激！ 谢谢！

Answer 1

我在我的 maven 项目中也遇到了类似的错误，我发现这是由于在我的 pom.xml 中的<scope>标签中提供了值

<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>${spark.version}</version>
            <scope>provided</scope>
        </dependency>

提供的这不允许我的 spark-SQL 依赖项得到解决，因此我收到了上述错误，一旦我评论了所提供的部分，spark_sql 依赖项就得到了解决，这个错误也是如此......你需要弄清楚找出为什么你的依赖没有在 sbt 中得到解决，因为那是我的原因。

Answer 2

我也是 Scala 的新手。 通过删除provided解决了相同的错误。 但是我遇到了另一个错误，需要添加

assemblyMergeStrategy in assembly := {
 case PathList("META-INF", xs @ _*) => MergeStrategy.discard
 case x => MergeStrategy.first
}

到 sbt 文件。