[英]making sbt scala build file bring in apache spark
我的project
目录下有一个scala构建文件,如下所示,但是导入失败,解决此问题的惯用方法是什么? 与build.sbt定义相反,scala构建文件仍然是推荐的构建吗? 官方文档没有提供任何见解。
import sbt.{Def, ExclusionRule, ModuleID}
import sbt.Keys.{dependencyOverrides, libraryDependencies}
import sbt._
object MyBuild {
lazy val sparkVersion = "2.2.1"
val commonDependencies: Seq[ModuleID] = Seq()
val sparkDependencies: Seq[ModuleID] = Seq(
"org.apache.spark" %% "spark-core" % sparkVersion,
"org.apache.spark" %% "spark-sql" % sparkVersion,
"org.apache.hadoop" % "hadoop-common" % sparkVersion sparkVersion,
"org.apache.spark" %% "spark-hive" % sparkVersion,
"org.apache.hadoop" % "hadoop-client" % "2.7.2"
)
lazy val project = Project("my-project", file("."))
.settings(
libraryDependencies ++= sparkDependencies
)
}
在我的源代码中,我无法:
import org.apache.spark.sql.DataFrame
什么是简单的解决方案? 我是否需要指定我的对象应该执行还是默认情况下会发生?
build.properties :
sbt.version = 0.13.16
您可能需要对构建定义进行以下更改
object MyBuild extends Build {
....
}
为避免此类常见问题,除非在构建规范中进行了大量自定义,否则请尝试使用在SBT中使用构建定义的build.sbt
方法。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.