使用SBT制作Spark Fat Jar的正确方法

Question

我需要一个带有Spark的Fat Jar，因为我正在为Knime创建一个自定义节点。 基本上，这是在Knime中执行的一个自包含的jar，我认为Fat Jar是产生本地Spark Job的唯一方法。 最终，我们将继续向远程集群提交作业，但现在我需要以这种方式生成它。

也就是说，我使用以下工具制作了一个胖子罐： https : //github.com/sbt/sbt-assembly

我做了一个空的sbt项目，在依赖项中包含了Spark-core，并组装了Jar。 我将其添加到自定义Knime节点的清单中，并尝试产生一个简单的工作（派生出一个集合，对其进行收集并打印）。 它开始了，但是我得到这个错误：

找不到键“ akka.version”的配置设置

我不知道如何解决。

编辑：这是我的build.sbt

name := "SparkFatJar"

version := "1.0"

scalaVersion := "2.11.6"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "1.3.0"
)


libraryDependencies +=  "com.typesafe.akka" %% "akka-actor" % "2.3.8"

assemblyJarName in assembly := "SparkFatJar.jar"

assemblyMergeStrategy in assembly := {
  case PathList("META-INF", xs @ _*) => MergeStrategy.discard
  case x => MergeStrategy.first
}

我已经在互联网上的某个地方找到了Spark的这种合并策略，但现在找不到源。

Answer 1

我认为问题在于您如何设置assemblyMergeStrategy 。 尝试这个：

assemblyMergeStrategy in assembly := {
  case PathList("META-INF", xs @ _*) => MergeStrategy.discard
  case "application.conf"            => MergeStrategy.concat
  case "reference.conf"              => MergeStrategy.concat
  case x =>
    val baseStrategy = (assemblyMergeStrategy in assembly).value
    baseStrategy(x)
}