GCP 数据流作业 REST 响应添加显示数据 object 与 {“key”：“datasetName”，...}

Question

为什么此行代码不使用{ "key":"datasetName", ...}生成 displayData object，如果在使用来自 apache beam 的 BigQuery 源时默认情况下它不是默认情况下，我如何生成它？

bigqcollection = p | 'ReadFromBQ' >> beam.io.Read(beam.io.BigQuerySource(project=project,query=get_java_query))

[更新] 添加我尝试生成的结果：

"displayData": [
                    {
                        "key": "table",
                        "namespace": "....",
                        "strValue": "..."
                    },          
                    {
                        "key": "datasetName",
                        "strValue": "..."
                    }
]

Answer 1

通过阅读最新版本 Beam 中BigQuerySource 的display_data()实现，它不会从您的示例使用的查询中提取表和数据集。 更重要的是，它不会创建任何专门命名为datasetName的字段。

我建议编写一个_BigQuerySource的子类，它将您需要的字段添加到显示数据，同时保留所有其他行为。