在没有 Spark 群集的情况下运行 Azure Databricks

Question

我已经使用 Domino Data Lab 一段时间了，我能够在一台机器上启动 Python 或 R 会话，而无需使用 Spark。

是否可以使用 Azure Databricks 做同样的事情？ 也就是说，要在没有 Spark（和集群）的情况下使用 Python 启动笔记本会话？

Answer 1

你总是必须有一个“集群”，但它可以是一个单节点集群（只有一个驱动程序节点）。 将此配置的工作程序节点数设置为零。 您无法在仅驱动程序的集群上运行 Spark。 请参阅以下在仅驱动程序集群上使用 MXNet 的示例。

2020 年 9 月平台版本提供的另一个选项是单节点集群。 您可以在 Cluster Mode 中选择“Single-Node”来创建一个 Spark 在本地模式下运行的单节点集群。

Answer 2

Databricks 现在在公共预览版中推出了单模集群。