Databricks：非火花代码的远程执行

Question

使用 databricks-connect，我可以在集群上运行 spark-code。 官方文档（ https://docs.microsoft.com/en-us/azure/databricks/dev-tools/databricks-connect ）也只提到了 spark-code。 如果我执行“普通”python 代码，它不会在 Databricks 上运行，而是在我的本地环境中运行。

在浏览器中的 databricks 笔记本中工作时，据我所知，我还可以运行在驱动程序节点上执行的“普通”python 代码。

有没有办法将外部 IDE（例如 PyCharm）连接到 Databricks，这样所有代码都在集群上执行，就像我在笔记本中的 Databricks 中工作一样？

编辑：为了更清楚，我知道如何使用 databricks connect 将 PyCharm 连接到 databricks，我可以以这种方式运行 pyspark 代码。 我想要做的是在数据块上运行非 Spark 代码（例如，在将 spark-dataframe 转换为 pandas-dataframe 后，在某些数据上训练 sklearn 模型）。 根据我对 databricks-connect 的理解，所有非 Spark 代码都将在我的本地机器上运行。 但是，在 databricks-notebooks 中，它在驱动程序上运行，并且正在寻找一种使用 databricks-connect 执行此操作的方法。

Answer 1

您可以按照以下步骤通过 Databricks connect 将外部 IDE（例如 PyCharm）连接到 Azure Databricks：

步骤 1：在创建新集群时在 Spark Config 中添加以下配置详细信息，如下面的屏幕截图所示。

步骤 2：要连接 Databricks Connect，我们需要有一个用户令牌。 要生成用户令牌，请按照以下屏幕截图所示的步骤操作：

Step2.1：点击用户设置

Step2.2：点击生成新令牌

Step2.3：添加评论并点击生成

Step2.4：我们需要更多的细节，如三个方框所示

Step2.5：我们还需要下面框中显示的详细信息

步骤 3：现在转到您的 Anaconda 提示符并运行：

pip uninstall pypark
pip install -U databricks-connect==8.3.*
databricks-connect configure(enter the values we collected in previous steps when prompted) 

Step4：打开Pycharm

步骤 5：单击现有解释器下拉列表旁边的框后，配置为使用您的 dbconnect conda 环境

Step6：现在通过创建python文件进行测试。 如果将以下两行添加到顶部，则从附加到群集的 Azure Databricks Notebook 工作的 Python Spark 命令应该在您的 IDE 中工作：

from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()

有关更多信息，您可以关注此Databricks-Connect - FINALLY！ 和来自 PyCharm IDE 的 Azure Databricks 。