是否有 Spark SQL jdbc 驅動程序？

Question

我正在尋找支持 Spark SQL 的客戶端 jdbc 驅動程序。

到目前為止，我一直在使用 Jupyter 在 Spark（在 HDInsight 上運行）上運行 SQL 語句，我希望能夠使用 JDBC 進行連接，以便我可以使用第三方 SQL 客戶端（例如 SQuirreL、SQL Explorer 等）代替筆記本界面。

我從 Microsoft 找到了一個 ODBC 驅動程序，但這對我使用基於 Java 的 SQL 客戶端沒有幫助。 我還嘗試從我的集群下載 Hive jdbc 驅動程序，但 Hive JDBC 驅動程序似乎不支持 Spark 支持的更高級的 SQL 功能。 例如，Hive 驅動程序抱怨不支持非等式連接的連接語句，我知道這是 Spark 支持的功能，因為我已經在 J​​upyter 中成功執行了相同的 SQL。

Answer 1

Hive JDBC 驅動程序似乎不支持 Spark 支持的更高級的 SQL 功能

無論它提供何種支持，Spark Thrift Server 都與 Hive/Beeline 的 JDBC 連接完全兼容。

因此，這就是您需要使用的 JAR。 我已經驗證這在 DBVisualizer 中有效。

另一種解決方案是直接在 Java 客戶端（非第三方工具）中運行 Spark 代碼，而無需 JDBC 連接。