使用 databricks-connect 連接到 python 中的數據塊時出錯

Question

我在 mac 上使用 databricks-connect 使用 pycharm 但在我完成配置並嘗試運行databricks-connect test后，我收到以下錯誤並且不知道問題是什么。 我遵循了這個文檔： https://docs.databricks.com/user-guide/dev-tools/db-connect.html

錯誤信息如下：

scala> spa
Traceback (most recent call last):
  File "/Library/Frameworks/Python.framework/Versions/3.7/bin/databricks-connect", line 11, in 
    load_entry_point('databricks-connect==5.3.1', 'console_scripts', 'databricks-connect')()
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/pyspark/databricks_connect.py", line 244, in main
    test()
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/pyspark/databricks_connect.py", line 213, in test
    raise ValueError("Scala command failed to produce correct result")
ValueError: Scala command failed to produce correct result

Answer 1

也許您的 Java/Python 版本不符合要求。 檢查您的集群，它使用的是哪個 Python 版本（在我的情況下是 3.5）。

最重要的是：檢查您的計算機上的 JDK 版本。 就我而言，我有最新的一個，它不受databricks-connect支持。 它需要在 JDK 8 上運行。

Answer 2

我會確保您使用的是正確版本的 Databricks Runtime（DB Connect 目前僅支持 5.1-5.5）。 由於這些是與 DB connect 一起使用的 DBR 的限制，因此您必須確保您也匹配 python 版本（對於基本 Databricks 運行時，我相信它是 3.5.x）。

Answer 3

要忽略運行時版本，導出解析的環境變量：

導出 DEBUG_IGNORE_VERSION_MISMATCH=1