使用 jars 和 Spark 的 sbt-assembly 行为

Question

我对 sbt 程序集的行为有疑问：
当我使用此配置时：

  assemblyMergeStrategy in assembly := {
  case PathList("org", "aopalliance", xs@_*) => MergeStrategy.last
  case PathList("javax", "inject", xs@_*) => MergeStrategy.last
  case PathList("javax", "servlet", xs@_*) => MergeStrategy.last
  case PathList("javax", "activation", xs@_*) => MergeStrategy.last
  case PathList("org", "apache", xs@_*) => MergeStrategy.last
  case PathList("com", "google", xs@_*) => MergeStrategy.last
  case PathList("com", "esotericsoftware", xs@_*) => MergeStrategy.last
  case PathList("com", "codahale", xs@_*) => MergeStrategy.last
  case PathList("com", "yammer", xs@_*) => MergeStrategy.last
  case "about.html" => MergeStrategy.rename
  case "META-INF/ECLIPSEF.RSA" => MergeStrategy.last
  case "META-INF/MANIFEST.MF" => MergeStrategy.discard
  case "META-INF/mailcap" => MergeStrategy.last
  case "META-INF/mimetypes.default" => MergeStrategy.last
  case "plugin.properties" => MergeStrategy.last
  case "log4j.properties" => MergeStrategy.last
  case "git.properties" => MergeStrategy.discard
  case x => MergeStrategy.first
  case x =>
    val oldStrategy = (assemblyMergeStrategy in assembly).value
    oldStrategy(x)
}

我的输出 jar 大约为 109MB，它包含 spark 库，即使我将其设置为提供的

但是当我使用这个时：

  assemblyMergeStrategy in assembly := {
  case "src/test/resources/library.properties" => MergeStrategy.discard
  case PathList("META-INF", xs@_*) => MergeStrategy.discard
  case x => MergeStrategy.first
}  

我的 Jar 大约 10MB。 你知道为什么吗？

Answer 1

在第二个策略中，您将从依赖项 jar 中丢弃所有 META-INF 文件夹（因此这些文件不会复制到远 jar 上）

在任何情况下，您都可以解压缩两个 jar 文件并检查内部内容以进行比较