通过 Databricks Connect 使用远程驱动程序

Question

从本地 IDE 连接到 Databricks 集群时，我认为仅在远程模式下（在集群上）执行与 spark 相关的命令。 scikit-learn, to_pandas等单节点操作怎么样。 如果这些功能只使用本地机器，资源池会很小。 如何还利用远程驱动程序执行单节点操作？

Databricks 连接

Answer 1

Databricks Connect 的设计是不可能的——在其中，本地机器始终是 Spark 驱动程序，Databricks 集群的工作节点用作 Spark 执行程序。 因此，像.collect这样的所有本地操作都会将数据带到您的机器上并在本地运行。

您可能需要查看 Databricks Labs 的dbx 工具- 它最近获得了dbx sync 命令，该命令允许自动将代码更改同步到 Databricks 存储库，因此您可以在 IDE 中编写代码，并在 Databricks 笔记本中运行它，所以在这个如果它将使用来自 Databricks 集群的驱动程序。 （它不允许交互式调试代码，但至少您可以在云中执行代码，而不是在您的机器上）