繁体   English   中英

使sbt scala构建文件引入Apache Spark

[英]making sbt scala build file bring in apache spark

我的project目录下有一个scala构建文件,如下所示,但是导入失败,解决此问题的惯用方法是什么? 与build.sbt定义相反,scala构建文件仍然是推荐的构建吗? 官方文档没有提供任何见解。

import sbt.{Def, ExclusionRule, ModuleID}
import sbt.Keys.{dependencyOverrides, libraryDependencies}
import sbt._

object MyBuild {

  lazy val sparkVersion = "2.2.1"

  val commonDependencies: Seq[ModuleID] = Seq()

  val sparkDependencies: Seq[ModuleID] = Seq(
    "org.apache.spark" %% "spark-core" % sparkVersion,
    "org.apache.spark" %% "spark-sql" % sparkVersion,
    "org.apache.hadoop" % "hadoop-common" % sparkVersion sparkVersion,
    "org.apache.spark" %% "spark-hive" % sparkVersion,
    "org.apache.hadoop" % "hadoop-client" % "2.7.2"
  )

  lazy val project = Project("my-project", file("."))
    .settings(
      libraryDependencies ++= sparkDependencies
    )
}

在我的源代码中,我无法:

import org.apache.spark.sql.DataFrame

什么是简单的解决方案? 我是否需要指定我的对象应该执行还是默认情况下会发生?

build.properties

sbt.version = 0.13.16

您可能需要对构建定义进行以下更改

object MyBuild extends Build {
  ....
}

为避免此类常见问题,除非在构建规范中进行了大量自定义,否则请尝试使用在SBT中使用构建定义的build.sbt方法。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM