AWS EMR Spark 錯誤，“無法加載 driverClassName com.mysql.jdbc.Driver 的類”

Question

我目前正在嘗試在 EMR 6.1.0 中添加一個進程，該進程將使用 Spark 將聚合數據存儲在 mysql 中。 但是，當我實際運行 Spark 時，出現以下錯誤。

Exception in thread "main" java.lang.RuntimeException: Failed to load class of driverClassName com.mysql.jdbc.

EMR 6.0.0 中沒有發生此錯誤。 在從 EMR 6.0.0 更新到 6.1.0 的過程中，我將 Spark 版本從 2.4.4 更改為 3.0.0。 代碼本身沒有明顯變化，我們知道不是網絡問題。

我花了很多時間瀏覽 AWS 文檔，但似乎找不到任何提示。 誰能幫我？

Answer 1

將 MySQL 連接器 jar 放在 $SPARK_HOME/jars 文件夾下，或使用 --jars 標志在 spark-shell/spark-submit 命令中傳遞 MySQL 連接器 jar 路徑。

Answer 2

Spark 3.x 依賴於 HikariCP。

https://github.com/apache/spark/blob/v3.0.0/dev/deps/spark-deps-hadoop-3.2-hive-2.3#L1

由於ClassLoader預加載的 HikariCP 無法加載您的應用程序類。

https://github.com/brettwooldridge/HikariCP/blob/HikariCP-2.5.1/src/main/java/com/zaxxer/hikari/HikariConfig.java#L318

this.getClass().getClassLoader().loadClass(driverClassName)

如果使用sbt-assemlby插件，您應該添加shade設置。

assembly / assemblyShadeRules := {
  Seq("com.zaxxer.hikari").map { packageName =>
    ShadeRule.rename(s"${packageName}.**" -> s"my_app_shade_package.${packageName}.@1").inAll
  }
}