如何在没有笔记本的情况下从 Azure Databricks Spark 群集查询数据？

Question

我在 https:azuredatabricks.net 中托管了一个正在运行的 Spark 2.3.1 集群，我创建了一个带有永久表的数据库，并且能够通过 Notebook Web 界面运行查询。
现在我正在寻找一种从 .Net 控制台应用程序查询同一个集群的方法，但我迷路了。

1. 是否有可用于执行 SQL/Python 查询的 Rest API？
2. 如何配置 ODBC 连接字符串以连接到集群以及有哪些可用的 ODBC 驱动程序？

最终，我正在寻找一种方法，使用户能够通过使用 JavaScript 或 .Net 代码编写的 Web App/REST 服务对 Spark 集群运行多个预定义的参数化查询之一。

Answer 1

据我所知，目前没有办法在 Databricks 工作区之外查询 Databricks 表。

根据您尝试完成的任务，您可以利用 REST API 来执行执行参数化查询的作业（笔记本或 JAR）。 这在 Databricks REST API 文档 ( https://docs.azuredatabricks.net/api/latest/jobs.html#run-now ) 中有描述。 如果您需要 .NET 应用程序中的查询结果，您的选择将会受到限制，您最好的选择可能是将查询结果写入 Data Lake Storage 或 Blob Storage 中的文件，然后从在那里与您的控制台应用程序。 您可以将文件的名称作为来自控制台应用程序的参数传入，以便在执行完成后轻松检索它。

要从 .NET 连接到集群，您需要使用 Databricks 访问令牌和身份验证 REST API (https://docs.azuredatabricks.net/api/latest/authentication.html )。