是否有 Spark SQL jdbc 驱动程序？

Question

我正在寻找支持 Spark SQL 的客户端 jdbc 驱动程序。

到目前为止，我一直在使用 Jupyter 在 Spark（在 HDInsight 上运行）上运行 SQL 语句，我希望能够使用 JDBC 进行连接，以便我可以使用第三方 SQL 客户端（例如 SQuirreL、SQL Explorer 等）代替笔记本界面。

我从 Microsoft 找到了一个 ODBC 驱动程序，但这对我使用基于 Java 的 SQL 客户端没有帮助。 我还尝试从我的集群下载 Hive jdbc 驱动程序，但 Hive JDBC 驱动程序似乎不支持 Spark 支持的更高级的 SQL 功能。 例如，Hive 驱动程序抱怨不支持非等式连接的连接语句，我知道这是 Spark 支持的功能，因为我已经在 J​​upyter 中成功执行了相同的 SQL。

Answer 1

Hive JDBC 驱动程序似乎不支持 Spark 支持的更高级的 SQL 功能

无论它提供何种支持，Spark Thrift Server 都与 Hive/Beeline 的 JDBC 连接完全兼容。

因此，这就是您需要使用的 JAR。 我已经验证这在 DBVisualizer 中有效。

另一种解决方案是直接在 Java 客户端（非第三方工具）中运行 Spark 代码，而无需 JDBC 连接。