Spark：java.sql.SQLException：找不到適用於jdbc：postgresql：// localhost / postgres的驅動程序

Question

在我的spark應用程序中，我嘗試使用以下行連接到本地Postgres數據庫：

val conn = DriverManager.getConnection("jdbc:postgresql://localhost/postgres", "postgres", "*Qwerty#")

Postgres服務器在端口5432上運行（默認）。 我也嘗試過包括港口。 我也嘗試過Class.forName("org.postgresql.Driver")但是它拋出ClassNotFoundException。 我確保驅動程序在ClassPath中。

我在本地模式下運行spark。

但是我得到了上述例外。

我已經通過sbt包括了jdbc驅動程序，如下所述： https : sbt

Answer 1

因此，問題在於執行者無法訪問驅動程序jar。

因此，使用spark.jars配置屬性傳遞驅動程序jar可以解決該問題。

它的火花文檔中的位置 ：

以逗號分隔的jar列表，​​包括在驅動程序和執行程序的類路徑中。 允許使用小球。

Answer 2

您也可以嘗試以下代碼：

屬性dbProperties = new Properties（）;

dbProperties.put（“ driver”，“ org.postgresql.Driver”）;

dbProperties.put（“ user”，“ postgres”）;

dbProperties.put（“ password”，“ * Qwerty＃”）;

val conn = DriverManager.getConnection（“ jdbc：postgresql：// localhost：5432 / postgresDB”，dbProperties）;