繁体   English   中英

如何在 BigQuery 表中保留列描述

[英]How to persist column descriptions in BigQuery tables

我在我的dbt(数据构建工具)中创建了模型,并在其中指定了列描述。 在我的dbt_project.yml文件中,如下所示

models:
    sakila_dbt_project:
     # Applies to all files under models/example/
     +persist_docs:
        relation: true
        columns: true
      events:
          materialized: table
          +schema: examples

我已经添加了 dbt 所描述的+persist_docs作为修复以使列描述出现但仍然没有描述出现在 bigquery 表中。

我的models/events/events.yml看起来像这样

version: 2

models:
  - name: events
    description: This table contains clickstream events from the marketing website

    columns:
      - name: event_id
        description: This is a unique identifier for the event
        tests:
          - unique
          - not_null

      - name: user-id
        quote: true
        description: The user who performed the event
        tests:
          - not_null

我错过了什么?

ps 我使用的是 dbt 版本 0.21.0

看起来与文档中所示的所需格式一致:

dbt_project.yml

models:
..[<resource-path>](resource-path):
....+persist_docs:
......relation: true
......columns: true

models/schema.yml

version: 2

models:
..- name: dim_customers
....description: One record per customer
....columns:
......- name: customer_id
........description: Primary key

也许是间距? 我在上面的示例中将空格转换为句点,因为空格的数量对于 yml 文件来说是不可原谅的。

我已经开始使用 vscode yml 格式化程序,因为我经常在schema.ymldbt_project.yml中遇到这些键的间距问题

否则,这不适用于sourceexternal-table ,对吗? 这些是不支持persist-docs的仅有的两个工件。

  1. 不支持的源persist_docs -> 源选项卡
  2. 不支持外部表(无法再次在文档中找到,但今天在文档或 github 问题中阅读)
  3. Apache Spark 不支持(此处无关) Apache Spark Profile

此外,如果您要经常使用persist_docs,请查看Jeremy 留下的这个宏示例persist_docs_op ,以进行run-operation以更新您的持久文档,以防您更改了所有内容!

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM