從數據塊中的 sql 服務器讀取數據（pyspark）

Question

我有一項任務需要從 Databricks 筆記本中的 Sql 服務器表中讀取數據。 我正在使用 Pyspark 進行轉換。

我的問題是有多少連接 pyspark 會打開 sql 服務器來讀取數據？ 它取決於作業創建的地圖數量嗎？

謝謝

Answer 1

默認情況下，Spark 只會通過 JDBC 將數據讀取到一個分區中，因此它應該打開一個或兩個連接。 但這是非常低效的，所以建議指定lowerBound 、 upperBound和numPartitions參數，這樣數據的讀取將並行發生——但這在很大程度上取決於你是否有一個列（數字、時間戳或類似的東西）可以是用於將數據拆分為給定數量的分區。 使用這些選項，Spark 將打開類似min(numPartitions, num CPU cores)的連接。