从数据块中的 sql 服务器读取数据（pyspark）

Question

我有一项任务需要从 Databricks 笔记本中的 Sql 服务器表中读取数据。 我正在使用 Pyspark 进行转换。

我的问题是有多少连接 pyspark 会打开 sql 服务器来读取数据？ 它取决于作业创建的地图数量吗？

谢谢

Answer 1

默认情况下，Spark 只会通过 JDBC 将数据读取到一个分区中，因此它应该打开一个或两个连接。 但这是非常低效的，所以建议指定lowerBound 、 upperBound和numPartitions参数，这样数据的读取将并行发生——但这在很大程度上取决于你是否有一个列（数字、时间戳或类似的东西）可以是用于将数据拆分为给定数量的分区。 使用这些选项，Spark 将打开类似min(numPartitions, num CPU cores)的连接。