从本地计算机连接到 Databricks 时出错

Question

我正在尝试从我的 Mac(Mojave) 连接到 Databricks。

我做了一个pip install -U databricks-connect==5.5.*

我启动了一个 spark-shell，但是当我尝试在 spark 中查询时，出现以下错误

引起：com.databricks.service.SparkServiceConnectionException：无效的令牌

To connect to a Databricks cluster, you must specify an API token.
API Token: The API token used to confirm your identity to Databricks
  - Learn more about API tokens here: https://docs.databricks.com/api/latest/authentication.html#generate-a-token
  - Get current value: spark.conf.get("spark.databricks.service.token")
  - Set via conf: spark.conf.set("spark.databricks.service.token", <your API token>)
  - Set via environment variable: export DATABRICKS_API_TOKEN=<your API token>

然后我运行 spark.conf.get("spark.databricks.service.token") 并取回我创建的令牌。 我们尝试在 Windows 机器上使用此令牌并且它可以工作。

Answer 1

跑：

databricks-connect configure

按照命令提示符上的步骤操作。 您将被要求输入您的Databricks Token ，输入您的令牌，按照其余步骤操作，它应该会得到解决。

PS：当您被要求输入您的Databricks Host:提供该区域的通用主机名，后跟您的 org-id。 例如：

https://westeurope.azuredatabricks.net/?o=xxxx而不是https://adb-xxxx.xy.azuredatabricks.net/?o=xxxx

Answer 2

对于 databricks 主机使用https://westeurope.azuredatabricks.net/?o=YourOrganizationID而不是https://adb-xxxx.xy.azuredatabricks.net/?o=xxxx