为什么Spark应用程序因“ClassNotFoundException：无法找到数据源：jdbc”而失败，因为uber-jar与sbt程序集一起？

Question

我正在尝试使用sbt 1.0.4和sbt-assembly 0.14.6组装Spark应用程序。

在IntelliJ IDEA或spark-submit启动Spark应用程序时工作正常，但如果我使用命令行（Windows 10中的cmd）运行组装的uber-jar：

java -Xmx1024m -jar my-app.jar

我得到以下异常：

线程“main”中的异常java.lang.ClassNotFoundException：无法找到数据源：jdbc。 请在http://spark.apache.org/third-party-projects.html查找软件包

Spark应用程序如下所示。

package spark.main

import java.util.Properties    
import org.apache.spark.sql.SparkSession

object Main {

    def main(args: Array[String]) {
        val connectionProperties = new Properties()
        connectionProperties.put("user","postgres")
        connectionProperties.put("password","postgres")
        connectionProperties.put("driver", "org.postgresql.Driver")

        val testTable = "test_tbl"

        val spark = SparkSession.builder()
            .appName("Postgres Test")
            .master("local[*]")
            .config("spark.hadoop.fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName)
            .config("spark.sql.warehouse.dir", System.getProperty("java.io.tmpdir") + "swd")
            .getOrCreate()

        val dfPg = spark.sqlContext.read.
            jdbc("jdbc:postgresql://localhost/testdb",testTable,connectionProperties)

        dfPg.show()
    }
}

以下是build.sbt 。

name := "apache-spark-scala"

version := "0.1-SNAPSHOT"

scalaVersion := "2.11.8"

mainClass in Compile := Some("spark.main.Main")

libraryDependencies ++= {
    val sparkVer = "2.1.1"
    val postgreVer = "42.0.0"
    val cassandraConVer = "2.0.2"
    val configVer = "1.3.1"
    val logbackVer = "1.7.25"
    val loggingVer = "3.7.2"
    val commonsCodecVer = "1.10"
    Seq(
        "org.apache.spark" %% "spark-sql" % sparkVer,
        "org.apache.spark" %% "spark-core" % sparkVer,
        "com.datastax.spark" %% "spark-cassandra-connector" % cassandraConVer,
        "org.postgresql" % "postgresql" % postgreVer,
        "com.typesafe" % "config" % configVer,
        "commons-codec" % "commons-codec" % commonsCodecVer,
        "com.typesafe.scala-logging" %% "scala-logging" % loggingVer,
        "org.slf4j" % "slf4j-api" % logbackVer
    )
}

dependencyOverrides ++= Seq(
    "io.netty" % "netty-all" % "4.0.42.Final",
    "commons-net" % "commons-net" % "2.2",
    "com.google.guava" % "guava" % "14.0.1"
)

assemblyMergeStrategy in assembly := {
    case PathList("META-INF", xs @ _*) => MergeStrategy.discard
    case x => MergeStrategy.first
}

有谁有任何想法，为什么？

[UPDATE]

从正式的GitHub存储库中获取的配置就可以了：

assemblyMergeStrategy in assembly := {
  case PathList("META-INF", xs @ _*) =>
    xs map {_.toLowerCase} match {
      case ("manifest.mf" :: Nil) | ("index.list" :: Nil) | ("dependencies" :: Nil) =>
        MergeStrategy.discard
      case ps @ (x :: xs) if ps.last.endsWith(".sf") || ps.last.endsWith(".dsa") =>
          MergeStrategy.discard
      case "services" :: _ =>  MergeStrategy.filterDistinctLines
      case _ => MergeStrategy.first
    }
    case _ => MergeStrategy.first
}

Answer 1

问题是几乎为什么格式（“kafka”）失败并且“找不到数据源：kafka”。 与优步罐？ 与其他OP使用Apache Maven创建超级jar的差异，这里是关于sbt（ sbt-assembly插件的配置准确）。

---

数据源的短名称（也称为别名 ），例如jdbc或kafka ，仅在相应的META-INF/services/org.apache.spark.sql.sources.DataSourceRegister注册DataSourceRegister可用。

对于工作的jdbc别名，Spark SQL使用带有以下条目的META-INF / services / org.apache.spark.sql.sources.DataSourceRegister （还有其他条目）：

org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider

这就是将jdbc别名与数据源联系起来的原因。

你已经通过以下assemblyMergeStrategy将它从超级罐中排除了。

assemblyMergeStrategy in assembly := {
    case PathList("META-INF", xs @ _*) => MergeStrategy.discard
    case x => MergeStrategy.first
}

注意case PathList("META-INF", xs @ _*) ，你只需要MergeStrategy.discard 。 这是根本原因。

只是为了检查“基础结构”是否可用，您可以通过其完全限定名称（而不是别名）使用jdbc数据源，请尝试以下操作：

spark.read.
  format("org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider").
  load("jdbc:postgresql://localhost/testdb")

你会看到由于缺少url等选项而导致的其他问题，但是...... 我们正在离题 。

一个解决方案是MergeStrategy.concat所有META-INF/services/org.apache.spark.sql.sources.DataSourceRegister （它将创建一个包含所有数据源的超级jar，包括jdbc数据源）。

case "META-INF/services/org.apache.spark.sql.sources.DataSourceRegister" => MergeStrategy.concat