在没有 Spark 群集的情况下运行 Azure Databricks
[英]Run Azure Databricks without Spark cluster
问题描述
I have used Domino Data Lab for a while and I was able to start a Python or R session with a single machine, without using Spark.
我已经使用 Domino Data Lab 一段时间了，我能够在一台机器上启动 Python 或 R 会话，而无需使用 Spark。
Is is possible to do the same with Azure Databricks?是否可以使用 Azure Databricks 做同样的事情？ That is, to start a notebook session with Python without Spark (and a cluster)?也就是说，要在没有 Spark（和集群）的情况下使用 Python 启动笔记本会话？
2 个解决方案
解决方案1
7 已采纳 2018-10-12 01:38:58
You always have to have a "cluster", but it can be a single node cluster (only with a driver node).你总是必须有一个“集群”，但它可以是一个单节点集群（只有一个驱动程序节点）。 Set the number of worker nodes to zero for this configuration.将此配置的工作程序节点数设置为零。 You are not able to run Spark on a driver-only cluster.您无法在仅驱动程序的集群上运行 Spark。 See the following example using MXNet on a driver-only cluster.请参阅以下在仅驱动程序集群上使用 MXNet 的示例。
Another option that is available with September 2020 platform release is Single Node Cluster . 2020 年 9 月平台版本提供的另一个选项是单节点集群。 You can select "Single-Node" from the Cluster Mode to create a single-node cluster with Spark running in local mode.您可以在 Cluster Mode 中选择“Single-Node”来创建一个 Spark 在本地模式下运行的单节点集群。
解决方案2
2 2020-11-04 14:21:33
Databricks 现在在公共预览版中推出了单模集群。
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.