將jdbc連接傳遞給Spark Read

Question

我有一個SQL腳本，該腳本創建僅對該會話有效的臨時表。 現在，在運行腳本之后，我試圖通過spark從表中讀取數據，然后對其進行處理。 下面是我有火花讀取代碼的代碼。

sparkSession.read().format("jdbc").option("url", 
jdbcURL).option("dbtable", tableOrQuery).option("user", 
userName).option("password", password)
      .option("driver", driverName).load();

現在，我需要傳遞我創建的jdbc連接，以便spark可以在同一會話中讀取數據。 這可能嗎 ？

Answer 1

不，您不能將jdbc連接傳遞給spark。 它將自行管理JDBC連接。

JdbcRelationProvider創建連接

JdbcUtils連接