Databricks 上的 DBT 工作流失败：object SeedNode 中的 AttributeError

Question

今天我们在数据块中的 DBT 工作流失败了。 工作流运行如下：

dbt run --target workflow --project-dir dbt/projectdir/ --profiles-dir dbt/

任何建议可能是错误的或如何解决它？

Databricks 日志中报告的版本：

使用 dbt=1.4.1 运行

错误信息如下：

'SeedNode' object 没有属性 'depends_on'

09:59:17 回溯（最近调用最后一次）：文件“/local_disk0/.ephemeral_nfs/cluster_libraries/python/lib/python3.9/site-packages/dbt/main.py”，第 135 行，在主要结果中，成功= handle_and_check(args) 文件“/local_disk0/.ephemeral_nfs/cluster_libraries/python/lib/python3.9/site-packages/dbt/main.py”，第 198 行，在 handle_and_check 任务中，res = run_from_args(parsed) 文件“/ local_disk0/.ephemeral_nfs/cluster_libraries/python/lib/python3.9/site-packages/dbt/main.py”，第 245 行，在 run_from_args 结果 = task.run() 文件“/local_disk0/.ephemeral_nfs/cluster_libraries/python/ lib/python3.9/site-packages/dbt/task/runnable.py”，第 454 行，在运行 self._runtime_initialize() 文件“/local_disk0/.ephemeral_nfs/cluster_libraries/python/lib/python3.9/site-packages /dbt/task/runnable.py”，第 165 行，在 _runtime_initialize super()._runtime_initialize() 文件“/local_disk0/.ephemeral_nfs/cluster_libraries/python/lib/python3.9/site-packages/dbt/task/runnable. py”，第 94 行，在_runtime_initialize self.load_ manifest() 文件“/local_disk0/.ephemeral_nfs/cluster_libraries/python/lib/python3.9/site-packages/dbt/task/runnable.py”，第 81 行，在 load_manifest self.manifest = ManifestLoader.get_full_manifest(self.config ) 文件“/local_disk0/.ephemeral_nfs/cluster_libraries/python/lib/python3.9/site-packages/dbt/parser/manifest.py”，第 203 行，在 get_full_manifest manifest = loader.load() 文件“/local_disk0/. ephemeral_nfs/cluster_libraries/python/lib/python3.9/site-packages/dbt/parser/manifest.py”，第 339 行，加载 self.parse_project( 文件“/local_disk0/.ephemeral_nfs/cluster_libraries/python/lib/python3。 9/site-packages/dbt/parser/manifest.py”，第 467 行，在 parse_project parser.parse_file(block) 文件“/local_disk0/.ephemeral_nfs/cluster_libraries/python/lib/python3.9/site-packages/dbt/ parser/base.py”，第 425 行，在 parse_file self.parse_node(file_block) 文件“/local_disk0/.ephemeral_nfs/cluster_libraries/python/lib/python3.9/site-packages/dbt/parser/base.py”，行386，在parse_node self.render_updat e（节点，配置）文件“/local_disk0/.ephemeral_nfs/cluster_libraries/python/lib/python3.9/site-packages/dbt/parser/base.py”，第 363 行，在 render_update self.update_parsed_node_config（节点，配置，上下文=上下文）文件“/local_disk0/.ephemeral_nfs/cluster_libraries/python/lib/python3.9/site-packages/dbt/parser/base.py”，第336行，在update_parsed_node_config get_rendered（hook.sql，上下文，parsed_node， capture_macros=True) 文件“/local_disk0/.ephemeral_nfs/cluster_libraries/python/lib/python3.9/site-packages/dbt/clients/jinja.py”，第 590 行，在 get_rendered return render_template(template, ctx, node) 文件“/local_disk0/.ephemeral_nfs/cluster_libraries/python/lib/python3.9/site-packages/dbt/clients/jinja.py”，第 545 行，在 render_template 返回 template.render(ctx) 文件“/local_disk0/.ephemeral_nfs/ cluster_libraries/python/lib/python3.9/site-packages/jinja2/environment.py”，第 1301 行，在渲染 self.environment.handle_exception() 文件“/local_disk0/.ephemeral_nfs/cluster_librar ies/python/lib/python3.9/site-packages/jinja2/environment.py”，第 936 行，在 handle_exception raise rewrite_traceback_stack(source=source) File“”，第 1 行，在顶级模板代码文件“/local_disk0 /.ephemeral_nfs/cluster_libraries/python/lib/python3.9/site-packages/jinja2/sandbox.py”，第 393 行，在调用返回 __context.call(__obj, *args, **kwargs) 文件“/local_disk0/. ephemeral_nfs/cluster_libraries/python/lib/python3.9/site-packages/dbt/clients/jinja.py”，第 328 行，在调用self.track_call() 时：文件“/usr/lib/python3.9/contextlib。 py”，第 117 行，在输入return next(self.gen) 文件“/local_disk0/.ephemeral_nfs/cluster_libraries/python/lib/python3.9/site-packages/dbt/clients/jinja.py”，第 319 行，在track_call self.node.depends_on.add_macro(unique_id)

AttributeError: 'SeedNode' object 没有属性 'depends_on'

Answer 1

看来这是一个版本问题。 明确设置任务以使用旧版本似乎已经解决了它：

dbt-core<=1.3.1
dbt-databricks<=1.3.1

这可以在 Databricks 工作流任务设置中进行设置。

我不确定哪个是最后一个可用的版本，但 1.3.1 至少适用于我们的情况。

Answer 2

有同样的问题，但我在雪花上