无法在 Azure DataBricks 群集上执行 Scala 代码

Question

我正在尝试为 DataBricks 设置开发环境，因此我的开发人员可以使用 VSCODE IDE（或其他一些 IDE）编写代码并针对 DataBricks 集群执行代码。

所以我浏览了DataBricks Connect的文档并按照文档中的建议进行了设置。 https://docs.databricks.com/dev-tools/databricks-connect.html#overview

发布设置我能够在 Azure DataBricks 集群上执行 python 代码，但不能使用Scala 代码

在运行设置时，我发现它说在 windows 上跳过 scala 命令测试，我不确定我是否在这里缺少一些配置。

请建议如何解决此问题。

Answer 1

这不是错误，只是说明databricks-connect test正在跳过 Windows 上的测试 scala 代码，您仍然可以使用 databricks-connect 从集群上的本地机器执行代码，您需要从databricks-connect get-jar-dir添加databricks-connect get-jar-dir目录到您在 IDE 中的项目结构，如本文档步骤中所述https://docs.microsoft.com/en-us/azure/databricks/dev-tools/databricks-connect#intellij-scala-or-java

另请注意，当使用 azure databricks 时，您会在执行databricks-connect configure时输入一个通用的 Databricks Host 以及您的工作区 id(org-id)

例如- https://westeurope.azuredatabricks.net/o=?xxxx而不是https://adb-xxxx.yz.azuredatabricks.net