无法将 dbt cloud 或 dbt core 连接到数据块

Question

我在将我的 dbt 云和 dbt 核心连接到数据块时遇到问题

我已经阅读了这4个链接，但仍然无法连接

https://docs.databricks.com/integrations/prep/dbt-cloud.html#connect-to-dbt-cloud&language-Cluster

https://docs.databricks.com/integrations/prep/dbt.html

https://docs.getdbt.com/reference/warehouse-profiles/databricks-profile

https://github.com/databricks/dbt-databricks

在 dbt-cloud 上：

当我在项目创建步骤中测试连接时，它通过了测试。 但是，当我使用连接创建作业并运行时，它会返回此消息：“无法在 spark 中设置数据库！”

编辑：问题曾经得到解决，但它又回来了。

原始修复：已修复 dbt-core 连接问题。 该问题是由 MacOS 上的 python 证书问题引起的。 请参考此链接以获取解决方案

在 dbt-core 上：这是我根据文档设置 profiles.yaml 文件的方式：

    databrick_dbt_lakehouse:
      outputs:
        dev:
          host: adb-755xxxxxxx7.7.azuredatabricks.net
          http_path: /sql/protocolv1/o/755xxxx7/0517-xxxxxx-xxxxxx
          schema: default
          threads: 1
          token: dapi<my token>
          type: databricks
      target: dev

笔记：

1. 对于 http_path，我在 sql/... 之前尝试过使用或不使用反斜杠 (/)
2. 我假设模式意味着数据库名称。 我试过 2 个，但都不起作用
3. 我将 pipenv 与 python 版本 3.8.8 一起使用

当我运行dbt debug我收到这条消息：

check failed:
   dbt was unable to connect to the specified database.
   The database returned the following error:

Runtime Error
   Database Error
   failed to connect

请帮助，谢谢

Answer 1

您的http_path似乎不对。 这是我的profiles.yml的摘录

databricks_dbt_demo:
  outputs:
    dev:
      host: adb-redacted.azuredatabricks.net

      http_path: /sql/1.0/endpoints/redacted  # for SQL Endpoint
      # http_path: /sql/protocolv1/o/{ORG-ID}/{CLUSTER-ID}  # for All-Purpose Cluster
      schema: your_database_here
      token: your_personal_access_token_here
      type: databricks
  target: dev

您使用的是集群（例如 All Purpose Cluster）还是 SQL 端点？

Answer 2

编辑：这个问题又回来了。 我在最初修复后的第 3 天写这篇评论

当我运行dbt run或dbt snapshot时，返回此错误消息：

Encountered an error:
Runtime Error
   Database Error
      failed to connect

原始修复：

该问题是由 MacOS 上的 python 证书问题引起的。 请参考此链接以获取解决方案。

dbt 云问题是由 yaml 文件中的不正确架构名称引起的