df.write.jdbc是否处理JDBC池连接？

Question

您是否知道以下行是否可以处理jdbc池连接：

df.write
  .mode("append")
  .jdbc(url, table, prop)

你有什么主意吗？ 谢谢

Answer 1

我不这么认为 。

spark.read.jdbc请求Spark SQL创建JDBCRelation 。 最终buildScan被执行依次调用JDBCRDD.scanTable导致JdbcUtils.createConnectionFactory（期权）为JDBCRDD 。

这样，您将看到driver.connect（options.url，options.asConnectionProperties） ，除非driver处理连接池，否则Spark SQL不会执行。

（只是注意到您问了另一个问题）

df.write.jdbc与此类似。 它再次导致使用相同RDD的JDBCRelation 。